Avey-B: новый энкодер для обработки естественного языка

Ученые представили Avey-B – улучшенную версию модели, предназначенной для обработки текста в условиях ограниченных вычислительных ресурсов. В основе Avey-B лежат авторегрессивные алгоритмы, не использующие механизм внимания, который требует больших затрат памяти.

Новый энкодер отличается от традиционных Transformer-моделей, таких как BERT, способом обработки информации. Avey-B использует раздельные статические и динамические параметры, специальную нормализацию для стабильности и алгоритмы сжатия нейронной сети. Это позволяет ему эффективно работать с длинными текстами и превосходить Transformer-модели в задачах классификации токенов и поиска информации.

Avey-B показал лучшие результаты по сравнению с четырьмя распространенными Transformer-энкодерами на стандартных бенчмарках, при этом масштабируется более эффективно при работе с большими объемами данных.