Explore-on-Graph: Новая архитектура для рассуждений LLM

Процесс рассуждений больших языковых моделей (LLM) часто страдает от галлюцинаций и отсутствия фактов при решении задач вопрос-ответ. Многообещающим решением является основание ответов LLM на верифицируемых источниках знаний, таких как графы знаний (KG). Преобладающие методы, использующие KG, обычно ограничивают рассуждения LLM либо путем применения правил во время генерации, либо путем имитации путей из фиксированного набора демонстраций.

Ограничения существующих подходов

Однако они естественным образом ограничивают шаблоны рассуждений LLM рамками предыдущего опыта или данных для тонкой настройки, что ограничивает их обобщаемость для задач графового рассуждения, выходящих за рамки распределения.

Предлагаемое решение: Explore-on-Graph (EoG)

Для решения этой проблемы в данной работе предлагается Explore-on-Graph (EoG) - новый фреймворк, который побуждает LLM автономно исследовать более разнообразное пространство рассуждений на KG. Чтобы стимулировать исследование и открытие новых путей рассуждений, предлагается использовать обучение с подкреплением во время обучения, награда которого – правильность конечных ответов путей рассуждений.

Улучшение эффективности исследования

Для повышения эффективности и значимости исследования предлагается включить информацию о путях в качестве дополнительных сигналов вознаграждения для уточнения процесса исследования и сокращения бесплодных усилий.

Результаты экспериментов

Обширные эксперименты на пяти эталонных наборах данных KGQA показали, насколько известно авторам, что предлагаемый метод достигает наилучших показателей, превосходя не только модели LLM с открытым исходным кодом, но даже модели с закрытым исходным кодом.