Falcon perception: новая модель от technology innovation institute

Falcon Perception — это новая модель, разработанная Technology Innovation Institute (TII) в Абу-Даби. Она объединяет большие языковые модели (LLM) с возможностями восприятия, такими как обработка изображений и видео. Модель способна понимать контент на основе визуальных данных и генерировать ответы на естественном языке.

Falcon Perception основана на семействе моделей Falcon LLM, разработанных TII. Она обучена на большом наборе данных, включающем 54M изображений, 195M позитивных выражений и 488M негативных примеров, включающих как текстовую, так и визуальную информацию. Модель поддерживает многоязычность и способна обрабатывать запросы на разных языках.

Эта модель может использоваться для решения различных задач, таких как ответы на вопросы о изображениях и видео, создание подписей к изображениям и видео, а также визуальный диалог. Falcon Perception способна понимать сложные визуальные сцены и генерировать содержательные и релевантные ответы.

В ходе тестов Falcon Perception продемонстрировала хорошие результаты в различных бенчмарках, достигая 68.0 Macro-F1 на SA-Co и превзойдя SAM 3, а также улучшенные результаты на PBench, особенно в задачах, требующих распознавания текста и пространственного понимания.