ИИ-агенты для кодирования: контекст может навредить

Исследователи из ETH Zurich обнаружили, что популярный метод "контекстного инжиниринга" для повышения производительности ИИ-моделей, использующих файлы конфигурации AGENTS.md, может приводить к обратному эффекту. Оказалось, что слишком подробные файлы контекста не только не помогают, но и снижают эффективность работы агентов.

Автоматически сгенерированные файлы контекста вообще снижают успешность решения задач примерно на 3%, увеличивают расходы на вывод на 20% и требуют больше шагов для выполнения. Даже файлы, написанные людьми, дают лишь незначительное улучшение - около 4%. Проблема в том, что ИИ-агенты склонны следовать инструкциям, даже если они излишни и только усложняют задачу.

Чтобы контекстные файлы были полезны, нужно предоставлять только самую важную информацию: стек технологий и цели проекта, особенности используемых инструментов и избегать излишних деталей, таких как подробные списки файлов или правила стиля. Важно делать файлы короткими (до 300 строк) и использовать ссылки на отдельные документы для конкретных задач.