MovieTeller: Автоматическое создание синопсисов фильмов

С ростом количества цифрового контента автоматическое суммирование видео становится всё более важным для индексации, рекомендаций и архивирования. Создание кратких содержаний для полнометражных фильмов и сериалов – сложная задача для современных моделей, работающих с видео и текстом.

Разработана система MovieTeller, которая позволяет создавать синопсисы фильмов, используя внешние инструменты и последовательное упрощение информации. Модель не требует дополнительного обучения – она напрямую использует готовые решения. Сначала система идентифицирует персонажей и их местоположение на экране, а затем эта информация добавляется к запросу для модели, генерирующей описание сцен.

Благодаря такому подходу, MovieTeller обеспечивает более точное описание событий, сохраняет идентичность персонажей и лучше структурирует повествование по сравнению с другими существующими решениями. Суммирование фильма разбивается на несколько этапов, что позволяет обрабатывать длинные видео без потери качества.