Тестирование prompt-инженерии: версионирование и регрессионные проверки с MLflow

В новом тьюториале описан подход, при котором prompt-шаблоны рассматриваются как версионируемые артефакты, а поведение языковой модели проверяется методами регрессионного тестирования. Для этого используется MLflow — система отслеживания экспериментов, позволяющая фиксировать версии промптов, их различия, выходные данные модели и метрики качества.

Авторы реализовали полный конвейер оценки: вычисляются BLEU, ROUGE-L и семантическое сходство (на основе эмбеддингов), а также автоматически формируются флаги регрессии при превышении заданных порогов снижения метрик. Все данные — промпты, диффы, метрики, выводы — логируются в MLflow, что делает эксперименты полностью воспроизводимыми и аудитируемыми.