GeoDiv: Оценка Географического Разнообразия в Моделях Текст-Изображение

Модели преобразования текста в изображение (T2I) стремительно набирают популярность, однако их результаты часто демонстрируют недостаток географического разнообразия, подкрепляют стереотипы и искажают представление о различных регионах. Учитывая их широкое распространение, крайне важно тщательно оценивать, как эти модели изображают мир.

Оценка географического разнообразия: ограничения существующих подходов

Существующие метрики для оценки разнообразия либо полагаются на специально подобранные наборы данных, либо фокусируются на поверхностном визуальном сходстве. Это ограничивает возможности интерпретации результатов.

GeoDiv: новый подход к измерению географического разнообразия

Для решения этой проблемы представлен GeoDiv – фреймворк, использующий большие языковые и визуально-языковые модели для оценки географического разнообразия по двум взаимодополняющим направлениям:

• Socio-Economic Visual Index (SEVI) – индекс социально-экономических визуальных маркеров, отражающий экономические и условные признаки.
• Visual Diversity Index (VDI) – индекс визуального разнообразия, измеряющий вариативность основных объектов и фоновых элементов.

Применение и результаты

GeoDiv был применён к изображениям, сгенерированным моделями Stable Diffusion и FLUX.1-dev, для $10$ сущностей и $16$ стран. Результаты показали постоянный недостаток разнообразия и выявили специфические атрибуты, в отношении которых модели склонны к предвзятым изображениям.

Особенно заметно, что изображения таких стран, как Индия, Нигерия и Колумбия, непропорционально часто изображают бедность и изношенность, что отражает лежащие в основе социально-экономические предубеждения.

Значение GeoDiv для разработки генеративных моделей

Эти результаты подчеркивают необходимость учета географической специфики при разработке генеративных моделей. GeoDiv предоставляет первый систематический и интерпретируемый фреймворк для измерения подобных предубеждений, что является важным шагом на пути к созданию более справедливых и инклюзивных генеративных систем.

Проект доступен по ссылке: https://abhipsabasu.github.io/geodiv