Neu-PiG: Быстрое восстановление 3D-объектов из облаков точек

Восстановление поверхности динамических 3D-объектов из неструктурированных данных облака точек остаётся сложной задачей, особенно при работе с очень длинными последовательностями. Существующие методы либо оптимизируют деформации инкрементально, рискуя накоплением ошибки и требуя значительного времени вычислений, либо полагаются на сложные модели машинного обучения, нуждающиеся в специализированном обучении для каждой категории объектов.

Новый подход: Neu-PiG

Мы представляем Neu-PiG – быстрый метод оптимизации деформаций, основанный на новом подходе кодирования с использованием предварительно обусловлённой латентной сетки. Этот подход распределяет пространственные признаки, параметризованные позицией и нормалью ключевой поверхности.

Латентное представление деформаций

Наш метод кодирует все деформации во всех временных шагах, используя различные пространственные масштабы, в мультиразрешающую латентную сетку. Параметрами этой сетки являются позиция и нормаль референтной поверхности, взятой из одного ключевого кадра. Затем это латентное представление дополняется модуляцией по времени и декодируется в деформации 6-DoF для каждого кадра с помощью лёгкого многослойного персептрона (MLP).

Предобусловление для точности и скорости

Для достижения высокоточного и устойчивого к накоплению ошибки восстановления поверхности за секунды, мы используем предобусловление Соболева во время обучения латентного пространства на основе градиентов. Это позволяет полностью избежать необходимости в явных соответствиях или дополнительных априорных знаниях.

Результаты экспериментов

Эксперименты, проведённые на различных наборах данных, включающих человеческие и животные модели, показали, что Neu-PiG превосходит современные методы, обеспечивая как более высокую точность, так и масштабируемость при работе с длинными последовательностями. Neu-PiG работает как минимум в 60 раз быстрее, чем существующие методы, не требующие обучения, и достигает скорости вычислений, сопоставимой с тяжёлыми, предварительно обученными моделями.