Sapnet++: Точная сегментация экземпляров по точечным запросам

В последнее время всё большую популярность приобретает использование единственной точки для разметки в задачах компьютерного зрения, что позволяет снизить затраты на аннотирование данных. Однако это создает трудности в задачах, требующих высокой точности, таких как сегментация экземпляров по точечным запросам (PPIS). Цель PPIS – генерация точных масок, используя единственную точку в качестве запроса для обучения сети сегментации.

Проблемы точечной разметки

Из-за ограничений, связанных с точечной разметкой, возникают неоднозначности в детализации и неопределенность границ. Это проявляется в сложности различения разных уровней детализации (например, целый объект или его части) и в проблемах с точным определением границ объектов. Существующие подходы часто основываются на генерации масок вместе с выбором предложений, чтобы решить задачу PPIS. Однако выбор предложений опирается только на информацию о категории, что не позволяет устранить неоднозначность в детализации. Кроме того, генераторы масок предлагают лишь конечное число дискретных решений, которые часто отклоняются от фактических масок, особенно на границах.

Решение: SAPNet и SAPNet++

Для решения этих проблем предложена сеть сегментации экземпляров по точечным запросам с учетом семантики и пространственной осведомленности (SAPNet). Она включает в себя стратегию направляемой дистанции до точки и стратегию поиска прямоугольников, чтобы справиться с глобальными и локальными проблемами, вызванными неоднозначностью детализации точки. Также в предложения добавлены оценки полноты для повышения осведомленности о пространственной детализации, что улучшает множественное обучение экземплярам (MIL) при выборе предложений, названное S-MIL.

Модуль уточнения многоуровневой связи передает пиксельные и семантические признаки, уменьшая неопределенность границ при уточнении маски. Все эти модули объединены в SAPNet++, что позволяет смягчить неоднозначность детализации и неопределенность границ, связанные с точечными запросами, и значительно повысить производительность сегментации.

Результаты экспериментов

Проведенные эксперименты на четырех сложных наборах данных подтверждают эффективность предложенных методов и показывают потенциал для дальнейшего развития PPIS. SAPNet++ демонстрирует значительное улучшение в точности сегментации по сравнению с существующими подходами, особенно в сложных случаях с неоднозначной детализацией и нечеткими границами объектов.