NVIDIA DreamDojo: открытая модель мира для роботов

NVIDIA разработала DreamDojo — обобщаемую модель мира для роботов, работающую не на основе физических движков, а напрямую "предсказывающую" результаты действий робота в виде изображений. Это стало возможным благодаря обучению на огромном массиве данных — более 44 711 часах реальных видеозаписей с участием людей.

Ключевой особенностью DreamDojo является использование "скрытых действий" (latent actions), извлекаемых из видео с помощью нейросетей. Это позволяет модели понимать физику мира, наблюдая за действиями людей, и применять эти знания к разным роботам. Модель доступна в двух вариантах: 2B и 14B параметров.

DreamDojo обеспечивает скорость работы 10,81 FPS, что позволяет использовать ее в реальном времени для симуляции, планирования и даже телеоперации роботов. Результаты симуляции демонстрируют высокую степень соответствия реальным условиям.

Весь код, обучающие данные и результаты тестов опубликованы в открытом доступе.