Архитектура Apple Silicon оказалась почти идеальной для запуска больших языковых моделей.

Всё благодаря сочетанию быстрой памяти, высокой пропускной способности и единой архитектуры памяти.

Mac Studio M5 Ultra с 512 ГБ памяти и пропускной способностью 1,2 ГБ/с способен целиком уместить GLM-5.3-Flash на 320 млрд параметров в FP8 и выдавать около 60 токенов в секунду локально, прямо на рабочем столе.

Альтернатива на ПК?

Примерно 10 RTX 5090 стоимостью более $20 000 и своя небольшая электростанция.

Полная версия модели в FP8 весит около 306 ГБ, а у одной RTX 5090 всего 32 ГБ видеопамяти. Поэтому только для размещения весов понадобится минимум 10 видеокарт.

10 × 32 ГБ = 320 ГБ.

Mac Studio решает эту проблему за счёт единого пула памяти.

Вместо того чтобы собирать кластер из множества видеокарт, бороться с задержками шины PCIe и энергопотреблением в районе 5000 Вт, можно загрузить все 306 ГБ вместе с огромным контекстом и кэшем KV в один настольный компьютер.