OAT: новый токенизатор действий для робототехники на основе LLM

Исследователи из Гарварда и Стэнфорда представили Ordered Action Tokenization — токенизатор, который позволяет применять к робототехнике подходы из мира больших языковых моделей. Основная сложность состояла в том, что непрерывные сигналы управления роботом сложно превратить в дискретные токены без потери точности или эффективности.

OAT решает эту проблему благодаря трём ключевым принципам: высокой степени сжатия (восемь токенов вместо 128–384), полной декодируемости (любая последовательность токенов даёт корректное движение) и строгой причинно-следственной упорядоченности (ранние токены задают общий вектор движения, поздние — уточняют детали). Это достигается за счёт встроенных регистров и специальной техники Nested Dropout при обучении.

Система показала лучшие результаты на четырёх крупных бенчмарках, включая LIBERO, RoboMimic, MetaWorld и RoboCasa. Например, в LIBERO OAT достиг 56,3 % успешных выполнений против 36,6 % у Diffusion Policy. Особенно ценна гибкость «anytime inference»: робот может выполнить грубое действие всего по одному-двум токенам или, при необходимости, применить полный 8-токенный набор для высокой точности.