Hugging face выпустила trl v1.0 для обучения llm

Компания Hugging Face выпустила TRL v1.0 – унифицированный пакет для постобучения, охватывающий SFT, моделирование вознаграждений, DPO и рабочие процессы GRPO. TRL v1.0 создан для упрощения процесса настройки больших языковых моделей (LLM) с использованием различных методов обучения с подкреплением.

TRL v1.0 предлагает единый интерфейс для обучения моделей с использованием supervised fine-tuning (SFT), обучения с подкреплением на основе вознаграждения (RLHF) с помощью моделей вознаграждений или прямой оптимизации предпочтений (DPO) и GRPO. В пакет включены инструменты для подготовки данных, обучения и оценки моделей.

Ключевой особенностью TRL v1.0 является его модульность. Пользователи могут выбирать и комбинировать различные компоненты в соответствии со своими потребностями. Например, можно использовать предварительно обученную модель из Hugging Face Hub и настроить ее с помощью SFT, а затем использовать модель вознаграждений для дальнейшей оптимизации с помощью DPO.

TRL v1.0 также поддерживает различные типы моделей, включая модели на основе трансформеров. Он совместим с PyTorch и TensorFlow.