Olmo: новая гибридная языковая модель от together ai

Olmo — это гибридная языковая модель, разработанная компанией Together AI. Она сочетает в себе преимущества как открытых, так и закрытых моделей. Olmo использует архитектуру "Mixture of Experts" (MoE), в которой несколько "экспертов" обрабатывают различные части входных данных.

Архитектура Olmo

В Olmo используется 8 экспертов, каждый из которых представляет собой модель с 7 миллиардами параметров. Это означает, что общая вычислительная мощность Olmo эквивалентна модели с 56 миллиардами параметров, но при этом она более эффективна, поскольку в процессе обработки задействована только небольшая часть параметров.

Olmo обучена на двух триллионах токенов данных, что делает ее способной генерировать высококачественный текст. Модель доступна в нескольких вариантах, включая 7B, 13B и 30B, что позволяет пользователям выбирать подходящую модель для своих нужд.

Olmo может быть использована для различных задач, таких как создание текста, машинный перевод и ответы на вопросы. Разработчики позиционируют Olmo как альтернативу закрытым моделям, таким как GPT-3.5, предоставляя при этом более гибкий и контролируемый подход. Olmo