trl v1.0: библиотека для тонкой настройки llm

TRL v1.0 – это библиотека для постобучения, созданная для адаптации к изменениям в области машинного обучения. Она предоставляет инструменты для тонкой настройки больших языковых моделей (LLM) с использованием таких методов, как обучение с подкреплением на основе обратной связи от человека (RLHF), а также Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO) и Direct Preference Optimization (DPO).

Библиотека включает в себя модули для различных задач, таких как обучение с подкреплением, обучение с предпочтениями и прямое обучение политики. TRL v1.0 поддерживает различные типы моделей, включая модели из семейства GPT и BLOOM, а также Qwen.

В TRL v1.0 реализованы новые функции, такие как поддержка распределенного обучения и улучшенная стабильность обучения. Также были внесены изменения в API для упрощения использования и расширения возможностей библиотеки. Разработчики отмечают, что библиотека разработана для гибкости и расширяемости, чтобы она могла быстро адаптироваться к новым исследованиям и разработкам в области LLM.

TRL v1.0 стремится предоставить исследователям и разработчикам необходимые инструменты для создания и обучения LLM, соответствующих конкретным потребностям и задачам. Библиотека нацелена на то, чтобы помочь продвинуть исследования в области LLM и сделать их более доступными для широкой аудитории.