tencent ai открыла исходный код covo-audio

Tencent AI открыла исходный код Covo-Audio — 7B-параметровой end-to-end аудиоязыковой модели и конвейера вывода для разговоров и рассуждений в реальном времени.

В отличие от классических систем, которые последовательно пропускают аудио через три отдельных компонента (распознавание → языковая модель → синтез речи), Covo-Audio обрабатывает непрерывный аудиовход и генерирует аудиовыход в единой архитектуре за один проход. Это снижает накопление ошибок и задержку.

Модель прошла двухэтапное предобучение на 2 триллионах токенов, охватывающих речевые и текстовые данные на нескольких языках. На бенчмарках MMAU и MMSU Covo-Audio показала лучшие результаты среди моделей своего масштаба, сравнявшись с некоторыми 32B-системами.

Отдельно выпущен вариант Covo-Audio-Chat-FD с поддержкой full-duplex — то есть модель может одновременно слушать и говорить с низкой задержкой, что важно для голосовых помощников реального времени.

Веса модели и код для инференса опубликованы на GitHub и HuggingFace под лицензией CC BY 4.0.