SigVLP: Новый подход к обучению моделей медицинской визуализации

Масштабные наборы данных для медицинской визуализации, как правило, объединяют сканирования от разных поставщиков и устройств, что приводит к высокой вариабельности разрешения, толщины срезов и количества срезов в исследовании. Следовательно, обучение моделей представления обычно требует обрезки или интерполяции по оси Z для получения блоков фиксированного размера, что неизбежно приводит к потере информации.

Новый подход к обучению

Предлагается новый подход к обучению для преодоления этого ограничения. Вместо абсолютных позиционных вложений, объемы интерпретируются как последовательности 3D-фрагментов и используется вращательное позиционное кодирование (Rotary Position Embeddings), позволяющее рассматривать ось Z как неограниченное временное измерение.

SigVLP: новая модель

На основе этой идеи представлена новая модель vision-language – SigVLP. В SigVLP вращательное позиционное кодирование реализовано как метод позиционного кодирования, который применяется непосредственно в операции внимания, генерируя синусоидальные и косинусные веса, зависящие от входных данных, на лету. Эта конструкция обеспечивает согласованное выравнивание между проекциями запроса и ключа и адаптируется к любым размерам входных данных.

Обучение и оценка модели

Для обеспечения переменного размера входных данных во время обучения, объемы компьютерной томографии сэмплируются фрагментами и сопоставляются с локальными текстовыми наблюдениями, относящимися к органам. По сравнению с использованием целых отчетов для обусловленности, фрагментное выравнивание обеспечивает более детальный контроль, позволяя модели устанавливать более сильные корреляции между текстовыми и объемными представлениями, тем самым повышая точность выравнивания текста и объема. Модели обучались с использованием оптимизатора Muon и оценивались на разнообразном наборе задач, включая классификацию аномалий и органов, сегментацию и поиск в режиме zero-shot.