SICL-AT: Новый способ адаптации звуковых LLM к задачам

Большие языковые модели, работающие со звуком, показывают хорошие результаты в различных задачах, связанных с речью и аудио. Однако они часто испытывают трудности при работе с задачами, для которых доступно мало данных или задачами, которые отличаются от тех, на которых они обучались. Прямая тонкая настройка в таких случаях может быть неэффективной.

Вместо этого, обучение "в контексте" (In-Context Learning, ICL) позволяет адаптировать звуковые LLM без дополнительного обучения, используя несколько примеров из целевой области. Исследователи показали, что стандартный ICL улучшает результаты моделей при решении различных задач.

Они предложили новый метод — SICL-AT (Speech In-Context Learning Adaptation Training), который использует большое количество доступных данных для обучения и укрепления способности модели к обучению в контексте. Этот подход улучшает результаты не только для речи, но и для понимания и анализа аудио в целом. Эксперименты показали, что SICL-AT превосходит прямую тонкую настройку при ограниченном объеме данных.