Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти.

Исследователи из австрийского института IST Austria представили квантованную версию модели, используя метод GSQ-RCO, а разработчики движка инференса Strata обеспечили возможность её запуска на потребительских видеокартах.

Согласно результатам испытаний:

RTX 5070 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти обеспечивает около 5 токенов в секунду при генерации ответа и до 231 токена в секунду при обработке входного контекста. RTX 3060 с 12 ГБ видеопамяти и 46 ГБ оперативной памяти достигает 8–10 токенов в секунду при генерации ответа и около 149 токенов в секунду при обработке входного контекста. Однако для запуска потребуется значительный объём оперативной памяти и не менее 239 ГБ свободного места на накопителе, поскольку большая часть весов модели хранится в оперативной памяти и на SSD, откуда подгружается по мере необходимости.

Разумеется, подобную скорость трудно назвать высокой, а выполнение сложных агентных задач по-прежнему требует немалых вычислительных ресурсов.

Тем не менее сама возможность запустить модель с 763 миллиардами параметров на обычном компьютере свидетельствует о существенном прогрессе в области квантования и оптимизации инференса.

https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF