univbench: унифицированная оценка видео-основанных моделей

UniVBench – это попытка создать унифицированную систему оценки для видео-основанных моделей. Авторы отмечают отсутствие стандартизированного подхода к оценке этих моделей, что затрудняет сравнение и развитие в этой области. UniVBench включает в себя 21 задачу, охватывающую различные аспекты понимания видео, такие как классификация действий, обнаружение объектов и ответы на вопросы о видео.

задачи и метрики

В UniVBench задачи разделены на три категории: понимание действий, понимание объектов и понимание общего видеоконтента. Для оценки используются стандартные метрики, такие как точность, средняя точность и F1-мера. UniVBench предоставляет не только метрики для оценки, но и набор инструментов для упрощения процесса оценки и сравнения различных моделей.

результаты и анализ

Авторы протестировали UniVBench на нескольких существующих видео-основанных моделях и обнаружили значительные различия в производительности между ними. Они также показали, что некоторые модели хорошо справляются с определенными задачами, но испытывают трудности с другими, подчеркивая необходимость комплексной оценки. UniVBench доступен для использования и дальнейшего развития, чтобы способствовать прогрессу в области видео-основанных моделей.