скрытое гауссовское разбрасывание для 4d панорамного отслеживания заполнения

Скрытое гауссовское разбрасывание для 4D панорамного отслеживания заполнения

Мы представляем новый подход к 4D панорамному отслеживанию заполнения, который обеспечивает детальное и полное представление сцены с течением времени. Наш метод, названный Latent Gaussian Splatting (LGS), превосходит существующие методы, особенно в сложных динамических сценах.

LGS представляет сцену как набор гауссовских сплэтов, каждый из которых кодирует геометрию и внешний вид определенной точки в пространстве. В отличие от предыдущих работ, которые напрямую моделируют сплэты, мы моделируем их в латентном пространстве. Это позволяет нам добиться более компактного представления и повысить скорость рендеринга.

Ключевым компонентом LGS является новая функция потерь, которая поощряет сплэты быть согласованными во времени. Это означает, что сплэты, соответствующие одной и той же точке в сцене, должны сохранять свои характеристики с течением времени. Кроме того, мы представляем новый метод отслеживания сплэтов, который позволяет нам точно отслеживать движение сплэтов в сложных сценах.

Мы оцениваем LGS на различных наборах данных, включая данные, полученные с помощью камеры и данные, полученные с помощью датчиков LiDAR. Наши результаты показывают, что LGS превосходит существующие методы как по качеству рендеринга, так и по точности отслеживания. В частности, LGS хорошо справляется со сложными динамическими сценами, такими как сцены с быстрым движением или сложными окклюзиями.