Convapparel: улучшение реалистичности пользовательских симуляторов

Пользовательские симуляторы становятся всё более важными для обучения политик, взаимодействующих с людьми. Однако, они часто страдают от разрыва в реалистичности, то есть разницы между поведением симулятора и поведением реальных людей. Этот разрыв может приводить к обучению политик, которые хорошо работают в симуляции, но плохо – в реальном мире.

В статье представлена ConvApparel – новая платформа для оценки и улучшения реалистичности пользовательских симуляторов, основанная на подходах генеративного моделирования. ConvApparel включает в себя три ключевых компонента. Во-первых, это набор данных, содержащий более 4000 человеко-машинных диалогов (в сумме около 15000 реплик) в области покупок одежды. Во-вторых, это набор метрик для измерения разрыва в реалистичности. Эти метрики оценивают как качество диалогов, сгенерированных симулятором, так и способность симулятора имитировать поведение реальных людей. В-третьих, это набор инструментов для обучения пользовательских симуляторов, направленных на уменьшение разрыва в реалистичности.

Авторы использовали ConvApparel для оценки нескольких существующих пользовательских симуляторов и выявили значительные различия в их реалистичности. Они также показали, что использование ConvApparel для обучения пользовательских симуляторов может значительно улучшить их производительность в реальном мире. ConvApparel dataset