anthropic mythos: новая языковая модель

Компания Anthropic разрабатывает модель под названием "Mythos". Модель Mythos была обучена на огромном наборе данных, включающем 2 триллиона токенов текста и кода.

Обучение и архитектура

Модель Mythos использует архитектуру, похожую на ту, что используется в других больших языковых моделях, таких как GPT-4. Она состоит из 84 миллиардов параметров. Исследователи Anthropic использовали метод, называемый "масштабным обучением с подкреплением с участием человека" (RLHF), чтобы улучшить качество ответов Mythos и сделать их более полезными и безопасными.

Сравнение с другими моделями

Внутренние тесты показали, что Mythos превосходит LLaMA 2 70B по большинству параметров. Модель также показала хорошие результаты в задачах, требующих рассуждений и понимания естественного языка. Mythos была использована в качестве основы для создания Claude 3, который, по заявлениям Anthropic, является более мощным и способным, чем предыдущие версии Claude.