Convapparel: новый набор данных для реалистичных диалоговых систем

Пользовательские симуляторы становятся все более важными для обучения политик диалогового взаимодействия, но их реалистичность часто вызывает вопросы. В статье представлен ConvApparel, новый набор данных для оценки и улучшения этих симуляторов. Он состоит из более чем 4000 диалогов, состоящих из почти 15000 реплик, записанных с реальными покупателями в домене покупок одежды.

Сбор и характеристики данных

Данные собирались с использованием краудсорсинговой платформы, где участники выступали в роли клиентов, взаимодействующих с агентом поддержки, представляющим собой виртуального продавца. Диалоги охватывают широкий спектр запросов, касающихся продуктов, размеров, доставки и возвратов. Каждый диалог аннотирован с информацией о намерениях пользователя, упоминаниях сущностей и общем настроении. Разработчики выделили 16 различных целей диалога, включая вопросы о наличии товаров, запросы на помощь в выборе размера и обсуждение вариантов доставки.

Оценка реалистичности симуляторов

Авторы использовали ConvApparel для оценки реалистичности нескольких существующих пользовательских симуляторов. Результаты показали, что эти симуляторы часто не соответствуют поведению реальных покупателей, особенно в отношении сложности запросов и глубины обсуждений. Установлено, что симуляторы склонны к генерации более простых и прямолинейных диалогов по сравнению с реальными людьми.

Преодоление разрыва в реалистичности

Чтобы помочь преодолеть разрыв в реалистичности, авторы предложили набор методов обучения, направленных на улучшение способности симуляторов генерировать более реалистичные диалоги. Эти методы включают использование обучения с подкреплением и обучение с имитацией. Эксперименты показали, что применение этих методов позволяет повысить реалистичность генерируемых диалогов и сократить разрыв между симуляторами и реальными покупателями.

ConvApparel dataset