Mamba-3: новая модель пространства состояний с улучшенной эффективностью

Представляем Mamba-3 — новую модель пространства состояний, обладающую состояниями в два раза меньшего размера и повышенной аппаратной эффективностью декодирования MIMO.

Mamba-3 стремится к сочетанию простоты и производительности, предлагая значительное улучшение по сравнению с предыдущими моделями пространства состояний, такими как Mamba-2. Модель достигает компактности благодаря использованию селективного сканирования состояний (SSM), которое уменьшает размер состояний без ущерба для качества.

Особенностью Mamba-3 является оптимизированное аппаратное обеспечение для декодирования MIMO (множественного входа — множественного выхода), что повышает скорость и эффективность обработки данных. Это особенно важно для приложений, требующих высокой пропускной способности и низкой задержки.

В тестах Mamba-3 демонстрирует сопоставимую или превосходящую производительность по отношению к другим моделям, включая трансформаторы, при значительно меньшем количестве параметров. Это делает ее привлекательным вариантом для задач, где ресурсы ограничены или необходима быстрая скорость вывода.

Разработчики также предоставляют ресурсы и инструменты для сообщества, чтобы облегчить эксперименты и дальнейшее развитие Mamba-3. Это включает в себя доступ к весам модели и программному коду, позволяя исследователям и разработчикам использовать и адаптировать технологию для своих нужд.