netflix представляет void: ai для удаления объектов из видео

Команда Netflix AI представила VOID – новую модель искусственного интеллекта, предназначенную для удаления объектов из видео, сохраняя при этом физическую правдоподобность. VOID – это аббревиатура от "Video Object and Interaction Deletion". Модель доступна с открытым исходным кодом.

VOID способна удалять объекты из видео и реалистично восстанавливать фон, учитывая физику сцены. Это означает, что удаление объекта не приводит к неестественным визуальным артефактам, таким как тени и отражения, но также учитывает физические взаимодействия, например, падение объектов. VOID использует диффузионные модели, обученные на большом количестве видеоданных.

Команда Netflix предоставила примеры использования VOID, включая удаление людей и объектов из видеороликов. VOID может быть использована в различных сценариях, таких как редактирование видео и создание специальных эффектов.

Код VOID и предварительно обученная модель доступны на Hugging Face. arxiv.org содержит техническую документацию по VOID.