Разложение и рекомбинация данных с помощью диффузионных моделей

Ученые разработали новый метод разложения сложных данных на отдельные компоненты и их последующего комбинирования для создания новых примеров. Исследование проведено в контексте диффузионных моделей, которые изучают структурированные скрытые пространства без явного контроля над отдельными факторами.

В изображениях такие факторы могут отражать фон, освещение и атрибуты объектов. В видео с роботами – различные компоненты движения. Для повышения качества как выявления факторов, так и генерации на их основе, предложен подход с использованием состязательного обучения. Дискриминатор обучается отличать исходные данные от тех, что получены путем комбинирования факторов из разных источников.

Обучение генератора обманывать дискриминатор помогает достичь большей физической и семантической согласованности при рекомбинации. Метод показал лучшие результаты на наборах данных CelebA-HQ, Virtual KITTI, CLEVR и Falcor3D, улучшив показатели FID и степень разделения признаков. Также продемонстрировано применение для роботизированных видео, где рекомбинация движений позволяет генерировать разнообразные последовательности и расширить область поиска на бенчмарке LIBERO.