За пределами точности: оценка хрупкости моделей регрессии

За пределами точности: количественная оценка производственной хрупкости, вызванной избыточными, резервными и малосигнальными признаками в регрессии

В машинном обучении акцент часто делается на повышении точности моделей, однако это может достигаться за счет производственной хрупкости – чувствительности к небольшим изменениям данных. В данной работе исследуется влияние избыточных, резервных и малосигнальных признаков на производственную хрупкость в задачах регрессии. Авторы выявляют, что, несмотря на повышение точности, эти признаки могут значительно снизить устойчивость модели к незначительным изменениям во входных данных.

Исследование вводит метрики для количественной оценки производственной хрупкости, ориентированные на измерение изменений в прогнозах модели при небольших возмущениях входных данных. Эти метрики позволяют оценить, насколько надежна модель в реальных условиях, где данные могут быть зашумлены или немного отличаться от данных обучения.

Эксперименты, проведенные на различных наборах данных и моделях регрессии, демонстрируют, что добавление избыточных и малосигнальных признаков действительно увеличивает точность, но одновременно существенно ухудшает производственную хрупкость. Это означает, что модель становится более чувствительной к небольшим изменениям во входных данных, что приводит к большим колебаниям в прогнозах. Авторы также показывают, что удаление этих признаков может улучшить общую производительность модели, особенно в сценариях, где важна надежность и устойчивость.