voiceagentrag: новый маршрутизатор памяти для голосового rag

Salesforce AI Research выпустила VoiceAgentRAG — маршрутизатор памяти с двумя агентами, который сокращает задержку извлечения в системах голосового RAG (Retrieval-Augmented Generation) в 316 раз.

VoiceAgentRAG использует два агента: "Быстрый говорящий" (Foreground Agent) и "Медленный мыслитель" (Background Agent). "Быстрый говорящий" обрабатывает входящие запросы, проверяя локальный семантический кеш. При промахе кеша он обращается к удаленной векторной базе данных и кэширует результаты для последующих запросов. "Медленный мыслитель" работает в фоновом режиме, анализируя последние шесть реплик в разговоре для предсказания следующих тем и предварительного извлечения соответствующих фрагментов документов в локальный кеш.

Ключевым нововведением является семантический кеш, реализованный с использованием FAISS IndexFlat IP, индексирующий записи по их собственным векторным представлениям документов. Это обеспечивает релевантность даже при изменении формулировок запросов. Система использует порог косинусного сходства τ=0.40 для баланса точности и полноты.

В тестах VoiceAgentRAG показал снижение задержки извлечения в 316 раз (110 мс → 0.35 мс) и общий процент попадания в кеш 75% (79% на "теплых" запросах). Архитектура наиболее эффективна в ситуациях с последовательной тематикой. Например, в сценарии "Сравнение функций" (S8) был достигнут 95% процент попадания в кеш. Разработчики считают, что VoiceAgentRAG может быть использован в различных приложениях, таких как голосовые помощники, чат-боты и системы поддержки клиентов.