Flowcorrect: Коррекция управления роботами в реальном времени

Генеративные политики управления роботами могут давать сбой при изменении распределения данных в реальном времени, однако многие из этих сбоев – это лишь незначительные отклонения: робот достигает почти правильной позиции и смог бы завершить действие с помощью небольшого корректирующего движения. Мы представляем FlowCorrect – систему для коррекции в реальном времени, которая превращает такие “почти-успешные” попытки в полноценные успехи, используя минимальное вмешательство со стороны человека, без необходимости полной переподготовки политики.

Принцип работы FlowCorrect

В процессе выполнения задачи оператор, используя упрощенный интерфейс виртуальной реальности, предоставляет краткие корректировки позиции робота. FlowCorrect использует эти редкие подсказки для локальной адаптации политики управления, улучшая действия без переобучения основной модели и сохраняя ее эффективность в уже освоенных сценариях.

Оценка эффективности

Испытания проводились на реальном роботе в трех задачах, связанных с манипулированием предметами на столе: перемещение объектов, переливание жидкости и установка стакана в вертикальное положение. FlowCorrect, используя минимальное количество корректировок, повысил успешность выполнения сложных задач на 85%, не оказывая негативного влияния на ранее решенные сценарии.

Ключевые преимущества

Результаты демонстрируют, что FlowCorrect обучается, используя очень малое количество демонстраций, и обеспечивает быструю и эффективную коррекцию генеративных политик управления роботами в реальном времени с участием человека. Система позволяет вносить инкрементные изменения, адаптируя политику в процессе ее эксплуатации.