Масштабирование синтетических инструкций для обучения языковых моделей

Исследователи предложили новый метод создания огромного набора данных для обучения больших языковых моделей (LLM). Обычно такие модели сначала обучают на больших объемах неструктурированного текста, а затем "дообучают" на значительно меньшем количестве примеров инструкций и ответов.

Новый подход, названный FineInstructions, позволяет превратить знания, полученные из огромных массивов данных, в миллиарды пар "инструкция-ответ". Для этого используется около 18 миллионов шаблонов инструкций, созданных на основе реальных запросов пользователей, которые затем заполняются данными из существующих текстовых корпусов.

Результаты экспериментов показали, что обучение LLM с использованием этого синтетического набора данных превосходит традиционные методы обучения и другие подходы к созданию синтетических данных по качеству ответов. Набор данных FineInstructions доступен на платформе Hugging Face.