moonshot ai представляет attention residuals для лучшего масштабирования

Компания Moonshot AI выпустила 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔, новую технологию, призванную заменить фиксированное смешивание остатков глубиной внимания для лучшего масштабирования в трансформерах.

Фиксированное смешивание остатков, которое обычно используется в трансформерах, может стать узким местом при масштабировании моделей. 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔 решает эту проблему, используя глубину внимания для более эффективного смешивания остатков.

Технология позволяет достичь лучшего масштабирования в трансформерах, что означает, что модели могут становиться больше и мощнее без значительного увеличения вычислительных затрат.