Дистилляция для китайских LLM: что это и почему важно?

В последнее время активно обсуждается вопрос о "дистилляции" — использовании результатов работы более мощной модели для обучения менее мощной. Изначально этот термин имел более техническое значение, связанное со способом обучения, имитирующим распределение вероятностей "учительской" модели. Однако в современном контексте "дистилляция" часто означает создание синтетических данных с помощью API более сильных моделей.

Синтетические данные — один из самых полезных инструментов для улучшения моделей ИИ. Архитектура и человеческий вклад также важны, но значительная часть работы по совершенствованию моделей сегодня заключается в правильном захвате и масштабировании таких синтетических данных.

Недавно компания Anthropic обвинила ряд китайских лабораторий — DeepSeek, Moonshot и MiniMax — в масштабных кампаниях по "дистилляции" их моделей Claude. Обнаружено, что эти лаборатории использовали API для создания более 16 миллионов запросов, нарушая условия обслуживания. При этом, эффект от такого "дистиллирования" может быть разным.

Объемы сгенерированных данных могут быть значительными, но качество и способ их интеграции в процесс обучения играют решающую роль. Китайские лаборатории могут компенсировать ограниченный доступ к GPU за счет более эффективного использования API других моделей. При этом, ситуация сложна и требует дальнейших исследований.