Rightnow ai представляет autokernel для оптимизации gpu

RightNow AI выпустила AutoKernel, опенсорсный фреймворк, который применяет цикл автономного агента к оптимизации GPU-ядер для произвольных моделей PyTorch. AutoKernel автоматически настраивает GPU-ядра для моделей машинного обучения, что позволяет добиться значительного ускорения.

AutoKernel использует подход, основанный на автономных агентах, для исследования огромного пространства конфигураций ядра. Он объединяет возможности языковых моделей (LLM) и среды выполнения PyTorch, чтобы итеративно генерировать, оценивать и совершенствовать ядра GPU. Фреймворк может оптимизировать производительность широкого спектра моделей PyTorch, включая трансформеры, сверточные нейронные сети и рекуррентные нейронные сети.

AutoKernel включает в себя следующие основные компоненты: автономного агента, LLM и среду выполнения PyTorch. Автономный агент отвечает за исследование пространства конфигураций ядра, LLM используется для генерации кода ядра на основе входных данных и среды выполнения PyTorch предоставляет инструменты для оценки производительности ядра.

Исследования, проведенные RightNow AI, показывают, что AutoKernel может обеспечить ускорение в 2-10 раз для различных моделей PyTorch по сравнению с использованием стандартных GPU-ядер. AutoKernel доступен как опенсорсный проект с лицензией Apache 2.0.