Агентная самокоррекция: преодоление нежелания отвечать в llm

Агенты, основанные на больших языковых моделях (LLM), часто отказываются отвечать на вопросы, касающиеся чувствительной семантической информации. Это может быть связано с запрограммированными ограничениями или встроенными механизмами безопасности. В исследовании рассматривается вопрос о том, как далеко простирается это нежелание отвечать, и можно ли обойти эти ограничения с помощью методов самокоррекции, позволяющих агенту пересматривать и исправлять свои собственные ответы.

В работе изучается концепция «агентной самокоррекции» — способности агента критически оценивать и улучшать свои собственные ответы без внешнего вмешательства. Авторы предполагают, что даже если агент изначально отказывается отвечать на вопрос, он может быть способен предложить ответ после проведения серии итераций самокоррекции, где он анализирует свои предыдущие ответы и пытается исправить выявленные недостатки.

Исследование показывает, что агенты часто проявляют тенденцию к «отказу» — то есть, они явно заявляют о своей неспособности или нежелании отвечать на определенные вопросы. Это может проявляться в различных формах, таких как заявления о том, что вопрос неуместен, вреден или выходит за рамки их возможностей. Однако, даже когда агент первоначально отказывается отвечать, его последующие попытки самокоррекции могут привести к созданию приемлемых ответов.

Авторы подчеркивают важность понимания пределов агентной самокоррекции, особенно в контексте работы с чувствительной семантической информацией. Результаты исследования позволяют предположить, что можно повысить надежность и полезность LLM-агентов, обучая их эффективно использовать механизмы самокоррекции для преодоления ограничений, связанных с нежеланием отвечать.