MoE в трансформерах: масштабирование нейросетей

В архитектуру трансформеров, лежащую в основе многих современных больших языковых моделей, внедряется концепция Mixture of Experts (MoE) – "смесь экспертов". Этот подход позволяет значительно увеличить размер модели без пропорционального увеличения вычислительных затрат.

Вместо того чтобы активировать все параметры сети при обработке каждого запроса, MoE распределяет задачу между несколькими "экспертами" – небольшими нейросетями. Для каждого запроса выбирается лишь небольшое количество наиболее подходящих экспертов, что делает процесс более эффективным.

Исследователи отмечают, что MoE позволяет создавать модели с триллионами параметров, которые превосходят по своим возможностям меньшие, но более плотные сети. Это открывает новые перспективы в области машинного обучения и искусственного интеллекта. Подробности пока ограничены, но направление выглядит перспективным для дальнейшего развития больших языковых моделей.