Дистилляция знаний с подкреплением для llm

Метод дистилляции знаний, осведомленный об обучении с подкреплением, разработан для улучшения способности к рассуждению больших языковых моделей (LLM). Авторы отмечают, что простая дистилляция знаний не всегда эффективно передает навыки рассуждения от учителей к ученикам.

Для решения этой проблемы предложен подход, который объединяет дистилляцию знаний с обучением с подкреплением. Модель-ученик обучается не только имитировать выходные данные модели-учителя, но и максимизировать награду, определяемую внешней средой или функцией обратной связи.

Авторы экспериментировали с различными функциями вознаграждения и обнаружили, что вознаграждения, основанные на правильности ответов, приводят к улучшению производительности модели-ученика в задачах рассуждения. Предложенный метод продемонстрировал превосходство над базовыми моделями дистилляции знаний и другими современными методами. Он позволил получить более эффективные и способные к рассуждению LLM.

Ключевым аспектом подхода является способность модели-ученика исследовать пространство решений и находить оптимальные стратегии рассуждения, что невозможно при простой дистилляции знаний. Использование обучения с подкреплением позволяет модели-ученику адаптироваться к сложным задачам рассуждения и улучшать свои способности со временем.