Многоуровневые фильтры безопасности для LLM: защита от атак | Новости ИИ

Разработана система многоуровневой защиты больших языковых моделей (LLM) от адаптивных и замаскированных атак. Система сочетает семантический анализ, поиск по шаблонам, классификацию намерений с помощью LLM и обнаружение аномалий. Такой подход исключает зависимость от единственной точки отказа. Реализованы механизмы для выявления как очевидных, так и тонких попыток обхода ограничений модели.

В основе системы лежит фильтр, использующий предобученные модели для оценки семантического сходства входящих запросов с известными вредоносными шаблонами. Дополнительно реализован анализ текста на наличие ключевых слов и фраз, указывающих на попытки обхода защиты. Для выявления скрытых намерений применяется классификация с помощью LLM.

В качестве дополнительного уровня защиты используется обнаружение аномалий для выявления необычного поведения, которое может указывать на попытки взлома. Все эти слои интегрированы в единый конвейер, который оценивает общий уровень риска и принимает решение о блокировке или разрешении запроса.