agentvista: датасет для оценки многомодальных агентов

AgentVista — это новая платформа для оценки многомодальных агентов в сложных реалистичных визуальных сценариях. Она представляет собой набор из 5000 визуальных сценариев, созданных с использованием движка Unreal Engine 5, и 100 оценочных показателей для количественной оценки производительности агентов.

Создание и характеристики датасета

Датасет AgentVista создан на основе движка Unreal Engine 5, что позволяет создавать высокореалистичные и разнообразные визуальные среды. Сценарии охватывают различные аспекты, такие как освещение, текстуры и сложные геометрические формы. Каждый сценарий разработан для проверки способности агентов к восприятию и взаимодействию с окружающим миром.

В состав датасета входят 5000 визуальных сценариев. Для количественной оценки производительности агентов используется 100 оценочных показателей. Эти показатели охватывают различные аспекты, включая точность, эффективность и надежность.

Области применения

Платформа AgentVista предназначена для оценки многомодальных агентов в различных областях, таких как робототехника, автономные транспортные средства и виртуальная реальность. Она позволяет исследователям и разработчикам количественно оценить производительность своих агентов и выявить области для улучшения.