Пятиуровневая структура безопасности для автономных агентов llm

Исследователи из Университета Цинхуа и Ant Group представили пятиуровневую структуру безопасности, ориентированную на жизненный цикл, для снижения уязвимостей автономных агентов LLM в OpenClaw.

Эта структура направлена на решение проблем безопасности, возникающих при использовании больших языковых моделей (LLM) в качестве автономных агентов. Она охватывает этапы жизненного цикла агента, начиная с разработки и заканчивая развертыванием и мониторингом.

Структура безопасности включает пять уровней: планирование, инструменты, исполнение, память и наблюдение. Каждый уровень решает конкретные типы уязвимостей и предлагает соответствующие меры безопасности. Уровень планирования концентрируется на защите от злонамеренных целей, уровень инструментов обеспечивает безопасное использование API и ресурсов, уровень исполнения предотвращает несанкционированные действия, уровень памяти защищает конфиденциальные данные и уровень наблюдения выявляет и реагирует на угрозы безопасности.

Исследователи продемонстрировали эффективность своей структуры безопасности в OpenClaw, платформе для разработки и тестирования автономных агентов LLM. Их результаты показывают, что структура безопасности может эффективно снизить уязвимости и повысить надежность автономных агентов LLM.