THUDM Slime Универсальный RL-фреймворк для GLM-5.2 и Llama 3

Исследовательская группа THUDM (создатели серии моделей ChatGLM) совершила важный вклад в open-source сообщество, открыв исходный код фреймворка Slime. Это именно та технологическая база, которая позволила команде провести полный пост-тренинг (RL) модели GLM-5.2 всего за два дня.

Slime — не просто очередной проект для обучения с подкреплением (Reinforcement Learning). Это проверенная в продакшене система, на которой строились все последние итерации моделей GLM (от 4.5 до 5.1), а также современные флагманы вроде Qwen3, DeepSeek V3 и Llama 3.

Архитектурная революция: концепция «Фиксированного ядра»

Главная проблема современных RL-стеков — их чрезмерная фрагментация. Для математических задач используется один пайплайн, для агентных сценариев — другой, для диалоговых — третий. Это приводит к разрастанию кодовой базы и сложности поддержки.

Slime решает эту проблему через фиксацию границы обучения:

Любой RL-процесс в Slime разделен на две четкие зоны:

1. Генерация опыта (Rollout): Модель отвечает на промпты, а система оценивает ответы. Здесь сосредоточена вся вариативность (математика, код, вызов инструментов).
2. Обучающее ядро (Trainer): Стандартный цикл, который читает сэмплы, считает Loss и обновляет веса.

В Slime обучающее ядро неизменно. Неважно, учите ли вы модель решать интегралы или управлять браузером — цикл оптимизации остается одним и тем же. Различия выносятся исключительно в этап формирования данных.

Технологический стек внутри Slime

Для обеспечения высочайшей производительности, необходимой для обучения моделей масштаба DeepSeek или GLM, Slime связывает лучшие решения в индустрии:

• Megatron-LM: Используется как основной движок для распределенного обучения и обновления весов.
• SGLang: Отвечает за сверхбыстрый Rollout (генерацию ответов модели).
• Data Buffer: Интеллектуальная прослойка между генерацией и обучением. Она управляет промптами, кастомными данными и приоритизацией сэмплов.

Благодаря такой связке, агентные задачи с многошаговым использованием инструментов (Tools Use) проходят через тот же оптимизационный цикл, что и простые текстовые ответы.

Агентные задачи как часть генерации данных

В традиционных фреймворках агентные сценарии (цикл «мысль — действие — ответ среды») требуют сложной логики во всем тренере. В Slime такие элементы, как:

• Изолированные среды выполнения (песочницы),
• Обратная связь от API или браузера,
• Награды за финальный результат,

— всё это упаковано внутрь генерации данных. Обучающее ядро получает на вход уже готовый «след» (trace) агентской работы, что делает процесс обучения прозрачным и масштабируемым.

Продакшн-статус и экосистема

Slime — это не теоретическая разработка, а фундамент современной AI-экосистемы. Система уже обкатана на миллионах GPU-часов и поддерживает:

• Модели: серии GLM, Qwen3, DeepSeek V3, Llama 3.
• Проекты: На Slime без изменения ядра построены Dressage, Miles, vime и даже OpenClaw-RL.

Открытый код позволит разработчикам по всему миру использовать те же инструменты, что и крупнейшие ИИ-лаборатории Китая и США, сокращая время итерации обучения с недель до дней.

Как начать работу

1. Репозиторий: Пакет доступен на GitHub: github.com/THUDM/slime.
2. Установка: Требуется наличие окружения с поддержкой CUDA, Megatron и SGLang.
3. Применение: Достаточно описать логику своего "генератора опыта", и Slime предоставит готовое масштабируемое ядро для RL-тренировки.

Открытие Slime подчеркивает тренд 2026 года на унификацию и упрощение RL-процессов, превращая обучение агентов в инженерную, а не исследовательскую задачу.