Google: Новый подход к точности и экономии LLM

Ученые из Google и Университета Вирджинии предложили новый способ оценки "глубины мышления" больших языковых моделей (LLM). Ранее считалось, что чем длиннее рассуждения модели, тем лучше. Однако новое исследование показывает, что простое увеличение количества токенов не гарантирует точности.

Вместо этого исследователи предлагают использовать "коэффициент глубокого мышления" (DTR), который измеряет, насколько сильно меняются прогнозы модели на разных слоях нейронной сети. Оказалось, что этот показатель гораздо лучше коррелирует с точностью, чем просто длина ответа.

Новый подход, названный Think@n, позволяет сократить вычислительные затраты почти вдвое, отсеивая "неперспективные" варианты ответов на ранней стадии. В тестах на математическом бенчмарке AIME 25, Think@n показал более высокую точность, чем стандартные методы, и при этом снизил затраты на 49%.