sef-map: subspace-decomposed expert fusion for robust hd map prediction

SEF-MAP: Subspace-Decomposed Expert Fusion for Robust Multimodal HD Map Prediction

Для надежного прогнозирования HD-карт используются методы многомодального слияния. Предлагается SEF-MAP, метод слияния экспертов, разложенных по подпространствам, для надежного прогнозирования HD-карт. SEF-MAP состоит из трех основных компонентов: извлечение признаков, разложение подпространств и слияние экспертов.

Извлечение признаков отвечает за извлечение релевантных признаков из различных модальностей, таких как изображения, лидар и векторные карты. Разложение подпространств преобразует признаки из каждой модальности в набор подпространств, захватывающих различные аспекты информации. Слияние экспертов объединяет информацию из этих подпространств с использованием набора экспертов, каждый из которых обучен прогнозировать HD-карту на основе определенной комбинации подпространств.

Для повышения надежности, SEF-MAP использует стратегию взвешенного слияния экспертов, которая динамически корректирует вклад каждого эксперта в зависимости от его производительности. В дополнение к этому, используется механизм внимания для выбора наиболее релевантных подпространств для каждой модальности. Модель SEF-MAP была оценена на общедоступном наборе данных nuScenes и показала хорошие результаты, превзойдя существующие методы в прогнозировании HD-карт.