потеря самосовершенствования: новый метод обучения ai

Потеря самосовершенствования

Новая техника, называемая «потеря самосовершенствования» (lossy self-improvement), позволяет моделям генеративного искусственного интеллекта улучшать свои собственные возможности без использования размеченных данных. Эта методика, разработанная исследователями из Google DeepMind, использует процесс самообучения, когда модель генерирует данные, которые затем использует для собственной дальнейшей тренировки.

В отличие от традиционных методов обучения, где требуются большие объемы размеченных данных, потеря самосовершенствования опирается на неразмеченные данные и механизм «потери» информации. Модель генерирует данные, затем применяет к ним оператор, который намеренно ухудшает качество этих данных. После этого модель обучается восстанавливать исходные данные из их ухудшенной версии.

Исследователи обнаружили, что этот процесс приводит к улучшению возможностей модели, даже если восстановление данных не является идеальным. Несовершенство восстановления, или «потеря», на самом деле способствует обобщению и адаптации модели. Это особенно полезно в ситуациях, когда размеченные данные ограничены или недоступны.

В экспериментах с большими языковыми моделями, такими как Gemma, потеря самосовершенствования показала хорошие результаты. Модель успешно обучалась на неразмеченных данных и демонстрировала улучшенные результаты в решении различных задач. Улучшение достигалось без необходимости человеческой разметки и с использованием относительно небольшого объема вычислительных ресурсов. Оригинальная статья.