so3uformer: устойчивая к поворотам сегментация панорамных изображений

SO3UFormer: Learning Intrinsic Spherical Features for Rotation-Robust Panoramic Segmentation

В данной работе представлен SO3UFormer – новый подход к панорамной семантической сегментации, который решает проблему чувствительности к поворотам, присущую существующим методам. Авторы утверждают, что существующие модели плохо обобщаются при изменении ориентации панорамы. SO3UFormer использует трансформаторную архитектуру, специально разработанную для работы со сферическими данными.

Ключевой особенностью SO3UFormer является способность изучать внутренние сферические признаки, которые инвариантны к поворотам. Это достигается за счет использования операторов, основанных на группе вращений SO(3). Модель использует самовнимание (self-attention) для агрегирования информации из разных частей панорамы, принимая во внимание сферическую геометрию.

Авторы провели эксперименты на нескольких общедоступных наборах данных панорамных изображений, таких как ScanNet и MatterPort3D. Результаты показали, что SO3UFormer превосходит существующие методы панорамной семантической сегментации, особенно в сценариях, где ориентация панорамы меняется. Это демонстрирует повышенную устойчивость модели к поворотам и её способность к обобщению.