Мультимодальное обобщение домена при небольшом количестве данных

В этой работе исследуется проблема обобщения в различных областях с использованием небольшого количества размеченных данных. Авторы предлагают новый подход к мультимодальному обобщению домена, который использует информацию из нескольких модальностей, чтобы улучшить производительность модели при переносе на новые, невидимые домены.

Авторы отмечают, что существующие методы обобщения домена часто не справляются с ситуациями, когда доступно лишь небольшое количество размеченных данных. Для решения этой проблемы они предлагают использовать технику самообучения, которая позволяет модели учиться на неразмеченных данных, чтобы улучшить свою обобщающую способность.

Предлагаемый подход включает в себя обучение модели на нескольких исходных доменах и последующую ее оценку на целевых доменах, которые не были видны во время обучения. Модель использует информацию из различных модальностей, таких как изображения и текст, чтобы лучше понять данные и сделать более точные прогнозы.

Эксперименты, проведенные авторами, показывают, что их подход превосходит другие методы обобщения домена, особенно в условиях ограниченного количества размеченных данных. Результаты демонстрируют эффективность использования мультимодальной информации и техники самообучения для улучшения обобщающей способности модели.