Mellea 0.4.0: улучшена поддержка llm и оптимизация granite

В версии Mellea 0.4.0 и новых библиотеках Granite реализованы следующие изменения.

В Mellea 0.4.0 значительно улучшена поддержка больших языковых моделей (LLM). Теперь Mellea поддерживает прямую интеграцию с библиотеками Transformers и позволяет использовать модели, хранящиеся в репозитории Hugging Face Hub [huggingface.co].

Появилась возможность использования различных стратегий квантования для снижения потребления памяти и ускорения инференса. В частности, поддерживаются 4-битное и 8-битное квантование.

В Granite добавлены новые примитивы для работы с тензорами, включая операции фильтрации и агрегации. Также улучшена производительность существующих примитивов, особенно при работе с большими массивами данных.

В библиотеке Granite реализована поддержка GPU-ускорения для некоторых операций, что позволяет значительно ускорить выполнение вычислений.

Добавлены новые инструменты для профилирования и отладки моделей. Эти инструменты позволяют анализировать производительность модели и выявлять узкие места.

В Mellea 0.4.0 также реализованы улучшения в области обработки ошибок и логирования. Это упрощает отладку и делает использование библиотеки более надежным.