Kimi K2.5 от Moonshot AI: мультимодальная модель с 1T параметров и Agent Swarm

Компания Moonshot AI выпустила Kimi K2.5 – новую открытую модель искусственного интеллекта, способную работать с визуальной информацией и использовать параллельную систему агентов (Agent Swarm). Модель объединяет большую языковую основу (Mixture of Experts), встроенный кодировщик для работы с изображениями и систему параллельных многоагентных взаимодействий. Она ориентирована на задачи кодирования, мультимодальное мышление и глубокий поиск в интернете, демонстрируя высокие результаты в соответствующих тестах.

Основные характеристики

• Архитектура: 1 триллион параметров (активируется около 32 миллиардов на токен), 61 слой, 384 экспертов, контекстное окно 256K токенов.
• Мультимодальность: Интеграция MoonViT кодировщика (около 400 миллионов параметров) для обработки изображений вместе с текстом. Обучение на 15 триллиона токенов текста и изображений.

• Agent Swarm: Система параллельных агентов, обучаемая с помощью Parallel Agent Reinforcement Learning (PARL). Поддерживает до 100 под-агентов и 1500 шагов взаимодействия, что обеспечивает ускорение работы в задачах поиска.

• Производительность

  • HLE Full with tools: 50.2
  • BrowseComp: 74.9 (увеличивается до 78.4 в режиме Agent Swarm)
  • SWE Bench Verified: 76.8
  • MMMU Pro: 78.5
  • VideoMMMU: 86.6

Kimi K2.5 хорошо справляется с чтением макетов интерфейсов, генерацией кода на основе визуальных данных, а также решением логических задач с использованием изображений и видео.

Подробнее о модели: https://www.kimi.com/blog/kimi-k2-5.html

Веса модели: https://huggingface.co/moonshotai/Kimi-K2.5