Unsloth: стабильный конвейер тонкой настройки qlora

Unsloth – это библиотека, предназначенная для создания стабильного и эффективного конвейера тонкой настройки QLoRA для больших языковых моделей. Она решает проблемы, связанные с нестабильностью и невоспроизводимостью, часто возникающими при использовании QLoRA.

основные возможности

Unsloth предоставляет инструменты для автоматической установки необходимых зависимостей, что упрощает настройку. Она включает в себя функцию автоматического восстановления весов, которая позволяет возобновлять процесс обучения после перебоев, сохраняя прогресс. Также в Unsloth реализована функция сохранения и восстановления оптимизатора, что способствует стабильности обучения.

Unsloth интегрируется с Hugging Face для загрузки моделей и датасетов. Она предоставляет возможность настройки различных параметров QLoRA, таких как ранг квантования и целевой размер памяти GPU.

повышение стабильности

Unsloth решает проблему невоспроизводимости, связанную с порядком применения слоев нормализации, путем фиксации случайного числа для перестановки слоев. Это обеспечивает одинаковые результаты при повторном обучении. Для дальнейшего повышения стабильности Unslоth использует градиентное масштабирование и смешанную точность обучения.

Unsloth предоставляет возможность отслеживания использования памяти GPU и автоматической настройки размера пакета для предотвращения ошибок нехватки памяти. Она также включает в себя функцию автоматического создания контрольных точек, что позволяет сохранять прогресс обучения на разных этапах.

Unsloth