Обобщение стохастического градиентного спуска в нейронных сетях

Обобщение, достигаемое стохастическим градиентным спуском в однородных нейронных сетях, изучается. Предлагаются новые границы обобщения для стохастического градиентного спуска (SGD) в контексте однородных нейронных сетей. Исследование опирается на анализ траектории SGD и использует понятие "информационного потенциала" для оценки способности к обобщению. Полученные границы позволяют оценить, насколько хорошо модель, обученная с помощью SGD, будет работать на новых, ранее не виденных данных.

Рассмотрена задача обучения однородных нейронных сетей, где все нейроны в слое имеют одинаковые веса и функцию активации. Обобщение SGD в таких сетях анализируется с точки зрения сложности модели и свойств данных. Показано, что границы обобщения зависят от размерности пространства признаков, количества параметров в сети и уровня шума в данных.

Ключевым элементом анализа является понятие информационного потенциала, который служит мерой сложности траектории SGD. Он описывает, насколько сильно изменяются веса сети в процессе обучения. Информационный потенциал связывается с границами обобщения, что позволяет оценить, насколько хорошо модель будет обобщать данные. Результаты показывают, что SGD может эффективно находить решения с хорошими свойствами обобщения, даже в сложных задачах.

Исследование предоставляет теоретическую основу для понимания поведения SGD в однородных нейронных сетях и позволяет предсказывать способность к обобщению. Полученные границы могут быть использованы для разработки новых алгоритмов обучения и оптимизации архитектуры нейронных сетей. Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks.