Конституционный ИИ: система двойного агента для безопасных финансовых операций

В этой разработке реализована система управления с двойным агентом, которая применяет принципы Конституционного ИИ к финансовым операциям. В ней разделены выполнение и надзор: агент-исполнитель выполняет финансовые действия, а агент аудитор контролирует политику, безопасность и соответствие требованиям. Внедряя правила управления непосредственно в формальную конституцию и комбинируя проверки на основе правил с помощью ИИ , создаются саморефлексивные, аудируемые и устойчивые к рискованному или несоответствующему поведению системы.

Система включает в себя определение политик безопасности, типов нарушений и конституции, которая задает правила поведения агентов. Для структурирования запросов, ответов и результатов аудита используются четко определенные модели данных. Моделирование поведения LLM осуществляется с помощью фиктивного клиента API, который имитирует работу агентов.

Два агента, исполнитель и аудитор, взаимодействуют в цикле, где исполнитель обрабатывает запросы, а аудитор проверяет соответствие конституции. При обнаружении нарушений процесс повторяется до тех пор, пока запрос не будет одобрен или не будет достигнуто максимальное количество попыток.