Запуск qwen3.5 с рассуждениями в стиле claude (gguf, 4-bit)

Представлена кодовая реализация для запуска моделей Qwen3.5, использующих рассуждения, дистиллированных с помощью мышления в стиле Claude, с использованием формата GGUF и 4-битной квантизации.

В кодовой реализации используется библиотека llama.cpp для загрузки и запуска модели Qwen3.5 в формате GGUF. Модели Qwen3.5 были дистиллированы с использованием процесса, имитирующего стиль мышления Claude, что повышает их способность к рассуждениям.

4-битная квантизация используется для уменьшения размера модели и требований к памяти, что позволяет запускать модель на оборудовании с ограниченными ресурсами. Использование формата GGUF позволяет легко развертывать и использовать модель с различными инструментами и библиотеками.