Обучение веб-агентов с помощью моделирования DynaWeb

Разработчики представили DynaWeb — новую систему для обучения автономных веб-агентов, использующих большие языковые модели и обучение с подкреплением. Основная проблема при обучении таких агентов — взаимодействие с реальным интернетом: это долго, дорого и небезопасно.

DynaWeb решает эту проблему, создавая "мир" для агента, основанный на модели, которая предсказывает, как будет выглядеть веб-страница после действия агента. Агент учится в этой смоделированной среде, генерируя множество сценариев своих действий. Для повышения стабильности и эффективности обучения в этот процесс также добавляются реальные траектории действий от экспертов.

Эксперименты на бенчмарках WebArena и WebVoyager показали, что DynaWeb значительно улучшает результаты современных открытых моделей веб-агентов. Это позволяет обучать агентов более масштабно и эффективно, используя "воображение".