Эффективность стратегии в математическом рассуждении с помощью llm

Эффективность стратегии в математическом рассуждении: использование различий между человеком и моделью для эффективного руководства.

В математическом рассуждении, где стратегии часто неявны и трудно передаются, возникают проблемы с выполнением стратегий. Чтобы решить эту проблему, предлагается подход, который использует различия в ошибках между человеком и языковой моделью. Модель, обученная обнаруживать расхождения между своим решением и решением человека, может предложить целевую помощь.

Исследование оценивает эффективность этого подхода на наборе задач математического слова. Результаты показывают, что использование различий между человеком и моделью для предоставления помощи приводит к значительному улучшению производительности. Этот подход особенно эффективен, когда помощь основана на конкретных ошибках, которые совершает модель, а не на общих советах. Исследование демонстрирует потенциал использования языковых моделей для предоставления персонализированной помощи в математическом рассуждении.

В частности, предложенный подход предполагает обучение модели прогнозировать, где человек, скорее всего, допустит ошибку. Это делается путем обучения модели на наборе данных, состоящем из решений задач математического слова, выполненных как людьми, так и моделью. Модель затем используется для генерации помощи, которая предназначена для исправления вероятных ошибок человека.

Эксперименты показали, что этот подход может улучшить точность решения задач математического слова на 12,7%. Это значительно выше, чем повышение точности, достигаемое при использовании традиционных методов помощи, таких как предоставление общих советов или пошаговых решений. Это указывает на то, что использование различий между человеком и моделью является эффективным способом предоставления помощи в математическом рассуждении.