NVIDIA открыла четыре модели для симуляции мира под робототехнику и автопилоты.

Семейство Cosmos 3 получило четыре чекпоинта по 16 млрд параметров, все под открытой лицензией OpenMDW 1.1, которая допускает коммерческое использование:

• Transfer-Auto генерирует данные вождения с нескольких камер при разной погоде, освещении и времени суток;
• Sim-Auto стримит синхронные наблюдения камеры и LiDAR для симуляции езды;
• Sim-Transfer превращает управление симулятором и текстовый промпт в фотореалистичное видео;
• Sim-Bimanual предсказывает видео по действиям робота или камеры.

Для робототехники важна среда, отвечающая на действия. Модель предсказывает, что произойдет в кадре, когда робот пошевелит захватом. Для автономного вождения важна связка картинки с геометрией. Синхронная камера и LiDAR соединяют визуальный ряд с 3D-сенсорикой.

Каждый чекпоинт - это постобученный пример Cosmos 3 Nano, и его можно дообучить на своих данных.

https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation