Cologen: Унифицированный фреймворк для генерации изображений

Единое условное генерирование изображений остаётся сложной задачей, поскольку различные типы задач требуют принципиально разных внутренних представлений. Одни нуждаются в концептуальном понимании для семантического синтеза, другие – в информации о локализации для пространственной точности. Попытки заставить эти разнородные задачи использовать одно и то же представление приводят к конфликту, связанному с представлением концепций и локализации.

Решение проблемы: CoLoGen

Для решения этой проблемы предложен CoLoGen – унифицированный диффузионный фреймворк, который прогрессивно изучает и согласовывает двойственность концепций и локализации. CoLoGen использует поэтапную программу обучения, которая сначала развивает основные концептуальные и локализационные способности, затем адаптирует их к различным визуальным условиям и, наконец, совершенствует их синергию для решения сложных задач, управляемых инструкциями.

Ключевым элементом этого процесса является модуль Progressive Representation Weaving (PRW) – прогрессивное переплетение представлений. PRW динамически направляет признаки к специализированным экспертам и стабильно интегрирует их результаты на разных этапах.

Результаты экспериментов

Эксперименты в области редактирования, управляемого и индивидуализированного генерирования изображений показали, что CoLoGen достигает конкурентоспособных или превосходящих результатов, предлагая принципиальный подход к представлению для унифицированного генерирования изображений.