Оптимизация пороговых значений при жёстких ограничениях ресурсов

Оптимизация пороговых значений после оценки справедливости при жёстких ограничениях ресурсов

Оценка справедливости в задачах машинного обучения часто включает в себя компромисс между точностью и справедливостью. Оптимизация пороговых значений после обучения (post-hoc threshold optimization) является распространенным методом смягчения несправедливости, но традиционные подходы часто игнорируют ограничения ресурсов, такие как бюджет на ложные срабатывания или бюджет на ложные пропуски. В этой работе исследуется оптимизация пороговых значений с учетом жёстких ограничений ресурсов.

Рассматривается задача оптимизации пороговых значений для бинарного классификатора, где целью является максимизация справедливости при соблюдении заданных ограничений ресурсов. Предлагается алгоритм, который итеративно настраивает пороговые значения для каждой группы, чтобы улучшить метрику справедливости, такую как равные шансы или равная точность, при одновременном соблюдении ограничений на ложные срабатывания и ложные пропуски.

Основная сложность заключается в том, что пространство пороговых значений является непрерывным, а ограничения ресурсов обычно задаются в виде жестких бюджетов. Для решения этой проблемы используется метод, основанный на градиентном спуске, который итеративно обновляет пороговые значения в направлении, которое максимизирует справедливость и минимизирует нарушение ограничений ресурсов. Алгоритм обеспечивает соблюдение ограничений ресурсов за счет добавления штрафных членов к целевой функции.

Эксперименты, проведенные на синтетических и реальных наборах данных, показывают, что предлагаемый алгоритм превосходит существующие методы оптимизации пороговых значений с точки зрения справедливости при сохранении приемлемого уровня точности.