Как обучать LLM локально через федеративное обучение с LoRA

Как обучать большие языковые модели локально без сбора данных в центре

В руководстве показано, как провести федеративное дообучение большой языковой модели с помощью LoRA, не объединяя приватные тексты в одном месте. Каждый из трёх виртуальных клиентов (как будто от разных организаций) дообучает общий базовый модель локально на своих данных, обмениваясь только легковесными параметрами адаптера LoRA.

Используется библиотека Flower для симуляции федеративного обучения и PEFT — для эффективного дообучения. Данные остаются распределёнными: клиенты используют внутренние заметки (например, про политики безопасности, риски и логистику), обучаются только на локальных копиях, а сервер агрегирует только веса LoRA. Поддерживается как GPU, так и CPU, при необходимости применяется 4-битная квантованная загрузка.

federated learning llm