Tavus Phoenix-4: AI для реалистичного видео в реальном времени

Компания Tavus разработала Phoenix-4 — новую модель генеративного искусственного интеллекта для создания реалистичного видеоконтента в реальном времени. Главная цель разработки – преодоление эффекта "зловещей долины", когда цифровые аватары кажутся неестественными из-за отсутствия эмоциональной выразительности и плавности движений.

Phoenix-4 состоит из трех ключевых компонентов: Raven-1 (анализ эмоций), Sparrow-1 (управление таймингом диалога) и Phoenix-4 (сам движок рендеринга). Вместо традиционных GAN-сетей, в Phoenix-4 используется технология Gaussian-diffusion, обеспечивающая детализацию и реалистичность изображения.

Разработчики добились впечатляющей скорости отклика – менее 600 миллисекунд задержки, что критически важно для интерактивного взаимодействия. Создать цифрового двойника ("Replica") можно всего за 2 минуты видеозаписи. Также реализован API для управления эмоциями персонажа, позволяющий задавать такие состояния, как радость, грусть, гнев и удивление.