Регулирование автономных ИИ-систем: риски и меры контроля

Вопрос о том, достаточно ли искусственный интеллект «смел» для комфорта человека, стал поводом для новых попыток регулирования. Регуляторы по всему миру начали искать способы ограничить риски, связанные с новым поколением ИИ-систем, способных к самообучению и автономному принятию решений. Одним из ключевых направлений стало выявление признаков так называемого «непреднамеренного поведения» — действий, которые не соответствуют заявленным целям системы, но возникают в результате её внутренней логики.

Органы по надзору за финансовыми рынками, в частности, рассматривают возможность введения обязательного аудита ИИ-алгоритмов, используемых в торговых системах. Согласно представленным данным, такие аудиты должны включать проверку на риск спекулятивных циклов и нестабильность, возникающую при взаимодействии нескольких автономных агентов.

В Европейском союзе разрабатывается проект directives, который впервые предлагает отдельную категорию для «автономных адаптивных систем», выделяя их среди прочих ИИ-решений. В документе подчёркивается, что такие системы могут менять своё поведение без вмешательства человека, что создаёт дополнительные сложности для контроля.

Исследователи из MIT и Стэнфорда опубликовали работу, посвящённую методам предиктивного мониторинга для таких систем. В ней описаны сценарии, при которых ИИ-агенты, обучаясь на рыночных данных, начинают имитировать действия друг друга, усиливая колебания и создавая эффект «интеллектуального коллапса рынка». Ссылка на полный текст: arxiv.org/pdf/2311.08301

Комиссия по ценным бумагам и биржам США уже провела ряд слушаний по этой теме. В материалах заседания указано, что в 2023 году было зафиксировано 12 случаев, когда ИИ-системы повлияли на краткосрочную ликвидность на фондовом рынке, включая два инцидента с высокочастотной торговлей, приведшими к временному отключению торговых платформ.

В документе Банка Англии от октября 2023 года, опубликованном на сайте регулятора, отмечается: «Рост числа систем с непрозрачными внутренними процессами принятия решений требует новых подходов к надзору, включая обязательное раскрытие метаданных и технических ограничений, независимо от уровня их автономии». Ссылка: bankofengland.co.uk/-/media/documents/financial-stability/report-ai-governance.pdf