VideoAesBench: бенчмарк для оценки понимания эстетики видео AI-моделями

Разработан новый комплексный бенчмарк VideoAesBench для оценки способности больших мультимодальных моделей (LMM) понимать и оценивать эстетическое качество видео. До сих пор эта важная для человека способность исследовалась недостаточно.

В основу бенчмарка легла подборка из 1804 видео различного происхождения: любительские, сгенерированные искусственным интеллектом, сжатые, созданные роботами и игровые ролики. Оценка проводится по нескольким типам вопросов – от традиционных тестов с вариантами ответов до открытых вопросов, требующих описания эстетических особенностей.

Исследователи протестировали 23 открытых и коммерческих LMM и пришли к выводу, что текущий уровень их способности воспринимать видеоэстетику остается базовым и не всегда точным. VideoAesBench призван стать платформой для дальнейших исследований в этой области.