Дифференцируемая потеря ноль-один через проекции на гиперсимплекс

Дифференцируемая потеря "ноль-один" достигается посредством проекций на гиперсимплекс.

Традиционные методы решения задач классификации часто используют функцию потерь "ноль-один", которая оценивает правильность классификации как 0 при неправильном предсказании и 1 при правильном. Однако, эта функция не является дифференцируемой, что затрудняет ее использование в методах оптимизации, основанных на градиенте. В статье предложен новый подход к решению этой проблемы, основанный на проекциях на гиперсимплекс.

Гиперсимплекс – это обобщение симплекса на произвольное число измерений. Проекция на гиперсимплекс позволяет получить дифференцируемую аппроксимацию функции потерь "ноль-один". Это достигается путем проецирования предсказаний модели на гиперсимплекс, что приводит к сглаживанию функции потерь и делает ее пригодной для оптимизации с использованием методов градиентного спуска.

Предложенный метод включает в себя разработку эффективных алгоритмов для вычисления проекций на гиперсимплекс. Авторы показали, что использование проекций на гиперсимплекс в качестве регуляризатора может улучшить обобщающую способность моделей классификации.