Модель Изинга для оценки LLM: новый метод агрегации с учётом зависимостей между

В оценке больших языковых моделей (LLM) часто используют объединенные оценки нескольких “судей”, в том числе и самих LLM. Традиционные методы агрегации, такие как Dawid-Skene, предполагают, что все оценщики независимы друг от друга. Однако LLM, из-за общего опыта и схожих архитектур, часто демонстрируют взаимосвязанность в своих суждениях.

Новый подход, основанный на модели Изинга, учитывает эти зависимости. Модель позволяет корректировать веса оценок, чтобы компенсировать корреляции между “судьями”. Исследователи показали, что игнорирование взаимосвязей может привести к неточным результатам, даже если индивидуальные оценки выглядят правильными.

Проведенные эксперименты на реальных данных показали, что новый метод превосходит классические подходы к агрегации оценок LLM. Предложенный подход обеспечивает более точную и надежную оценку качества работы моделей.