Uniscale: Унифицированный Фреймворк Для 3D Реконструкции

UniScale — это унифицированный, учитывающий масштаб фреймворк для 3D реконструкции из нескольких видов, предназначенный для робототехнических приложений. Он гибко интегрирует геометрические априорные знания благодаря модульному, семантически информативному дизайну. Для задач навигации роботов, основанных на зрении, точное извлечение структуры окружающей среды из последовательностей изображений имеет решающее значение.

Авторы

Мохаммад Махдавиан, Гордон Тан, Бинбин Сюй, Юань Рен, Донфэн Бай и еще один автор.

Аннотация

UniScale решает эту задачу с помощью одной прямой нейронной сети, которая совместно оценивает внутренние и внешние параметры камеры, глубину и карты точек, инвариантные к масштабу, а также метрический масштаб сцены из многовидовых изображений. При необходимости можно включать дополнительные геометрические априорные знания. Сочетание глобального контекстного рассуждения с представлениями признаков, учитывающими камеру, позволяет UniScale восстановить метрический масштаб сцены.

В робототехнических условиях, где внутренние параметры камеры известны, их можно легко включить для повышения производительности. Дополнительный прирост можно получить, когда также доступны позы камеры. Этот совместный дизайн обеспечивает надежную 3D реконструкцию с учетом метрики в рамках единой унифицированной модели.

UniScale не требует обучения с нуля и использует мировые априорные знания, представленные в существующих моделях без стратегий геометрического кодирования, что делает его особенно подходящим для команд роботов с ограниченными ресурсами. UniScale был оценен на нескольких эталонных тестах, демонстрируя сильную обобщающую способность и стабильную производительность в различных средах.

Реализация UniScale будет опубликована после принятия.

Ресурсы

Доступны ссылки на Hugging Face, PDF и ArXiv.