superglasses: оценка llm для умных очков

Мы представляем SUPERGLASSES, первую комплексную платформу для оценки языковых моделей (LLM) как интеллектуальных агентов для умных очков с искусственным интеллектом. SUPERGLASSES сочетает в себе реалистичный симулятор окружающей среды, систему оценки на основе вознаграждений и набор из более чем 1800 задач, охватывающих разнообразные сценарии использования умных очков.

методология оценки

Наш симулятор окружающей среды позволяет нам создавать разнообразные и контролируемые сценарии, моделируя физические и визуальные аспекты реального мира. Мы оцениваем LLM, рассматривая их как интеллектуальных агентов, которые воспринимают окружающую среду через визуальные входные данные и взаимодействуют с ней посредством языковых команд. Система оценки на основе вознаграждений предоставляет количественную обратную связь о производительности агента, оценивая его способность решать задачи и достигать заданных целей.

набор данных

Набор данных SUPERGLASSES включает в себя более 1800 задач, разделенных на три основные категории: навигация, идентификация объектов и выполнение задач. Задачи навигации требуют от агента перемещения по окружающей среде и достижения определенных целей. Задачи идентификации объектов требуют от агента идентификации и описания объектов в окружающей среде. Задачи по выполнению задач требуют от агента выполнения сложных действий, таких как поиск конкретного объекта и его передача пользователю. Мы также предоставляем набор базовых оценок, чтобы облегчить сравнение различных LLM.

Мы выявили, что даже самые современные LLM испытывают трудности с надежным выполнением задач в сложных и реалистичных сценариях. Наши результаты показывают, что для достижения высокого уровня производительности необходимы дальнейшие исследования и разработки в области LLM для умных очков с искусственным интеллектом.

SUPERGLASSES: Benchmarking Vision Language Models as Intelligent Agents for AI Smart Glasses