SemVideo: Реконструкция Видео По ФМРТ С Использованием Семантической Информации

Восстановление динамического визуального опыта на основе активности мозга открывает многообещающие возможности для изучения нейронных механизмов человеческого зрительного восприятия. Несмотря на значительный прогресс в реконструкции изображений по данным фМРТ, расширение этого успеха на видео остается сложной задачей. Существующие подходы к реконструкции видео по фМРТ последовательно сталкиваются с двумя основными недостатками: несогласованностью визуальных представлений ключевых объектов в разных кадрах, что приводит к несовпадениям, и недостаточной временной связностью, вызывающей рассогласование движения или резкие переходы между кадрами.

SemVideo: новый подход к реконструкции видео по фМРТ

Для решения этих проблем представлена SemVideo – новая система реконструкции видео по фМРТ, использующая иерархическую семантическую информацию. В основе SemVideo лежит модуль SemMiner, который создает три уровня семантических подсказок из исходного видеостимула: статические описания основных объектов, повествования, ориентированные на движение, и целостные резюме.

SemVideo состоит из трех ключевых компонентов, использующих эту семантическую информацию:

• Декодер семантического выравнивания: он сопоставляет сигналы фМРТ с эмбеддингами в стиле CLIP, полученными из SemMiner.
• Декодер адаптации движения: он реконструирует динамические паттерны движения, используя новую архитектуру трипартийного внимания.
• Условный видеорендерер: он использует иерархическую семантическую информацию для реконструкции видео.

Результаты экспериментов

Эксперименты, проведенные на наборах данных CC2017 и HCP, показали, что SemVideo превосходит существующие методы как по семантическому выравниванию, так и по временной связности, устанавливая новый стандарт в реконструкции видео по фМРТ. Система демонстрирует улучшенное восстановление визуального контента за счет согласованности ключевых объектов и плавности переходов между кадрами.