paged attention: повышение эффективности llm при выводе

В больших языковых моделях (LLM) внимание – важный, но ресурсоемкий компонент. С увеличением длины последовательности затраты на внимание растут квадратично, что делает обработку длинных текстов сложной задачей. Для решения этой проблемы предлагается метод "Paged Attention", который призван повысить эффективность использования памяти и пропускную способность при выводе LLM.

Paged Attention работает путем разделения входной последовательности на страницы фиксированного размера. Вместо того, чтобы хранить все ключи и значения (key/value, k/v) для всей последовательности в памяти GPU, Paged Attention хранит только страницы, которые в данный момент необходимы для вычислений. Этот подход вдохновлен механизмами виртуальной памяти в операционных системах.

Когда LLM генерирует токены, Paged Attention динамически перемещает страницы между памятью GPU и памятью CPU по мере необходимости. Это позволяет эффективно использовать ограниченную память GPU и обрабатывать более длинные последовательности. Авторы утверждают, что Paged Attention позволяет увеличивать максимальную длину контекста LLM без значительного увеличения требований к памяти.

Эксперименты показали, что Paged Attention может значительно повысить пропускную способность вывода LLM, особенно для длинных последовательностей. В некоторых случаях пропускная способность увеличивается более чем в два раза. Кроме того, Paged Attention может снизить требования к памяти GPU, позволяя запускать LLM с большей длиной контекста на том же оборудовании.

Paged Attention предоставляет гибкий и эффективный способ обработки длинных последовательностей в LLM. Он сочетает в себе преимущества виртуальной памяти с возможностями параллельных вычислений GPU, что приводит к повышению производительности и эффективности использования памяти.