В ленту
AI
AISferaic
19.11.2026 14:02

На фоне стремительного роста цен на мощные видеокарты энтузиасты само…

На фоне стремительного роста цен на мощные видеокарты энтузиасты самостоятельно находят неожиданные способы собрать доступные вычислительные системы.

На этой неделе на Reddit набрал популярность проект «стойки из 40 мини-ПК», ставший одним из самых впечатляющих примеров домашней лаборатории в этом году.

У автора оказалось 40 бездисковых мини-ПК на базе Intel N150, оставшихся от предыдущего проекта. Каждый оснащён 12 ГБ памяти DDR5-4800. Пропускная способность памяти одной машины составляет около 33 ГБ/с, а суммарный объём оперативной памяти всего кластера достигает 480 ГБ.

Сначала автор попытался объединить все 40 машин с помощью обычной гигабитной сети Ethernet (1 Гбит/с) для распределённого инференса. Однако задержки при синхронизации тензоров между узлами ограничили скорость генерации всего 7 токенами в секунду.

Чтобы устранить сетевое узкое место и не тратиться на дорогой коммутатор с поддержкой 10 Гбит/с, автор придумал необычное низкоуровневое решение.

Он задействовал встроенную в чипсеты x86 возможность отладки через USB 3.2 (USB DbC, Debug Capability) и с помощью обычных высокоскоростных USB-кабелей построил древовидную топологию прямых соединений со скоростью 10 Гбит/с: 1 → 3 → 9 → 27 узлов.

Весь кластер из 40 машин обошёлся примерно в 5000 долларов. Пиковое энергопотребление при полной нагрузке составляет всего 740 Вт, что значительно меньше, чем у многопроцессорного сервера.

При этом кластер способен полностью разместить GLM 5.3 Flash без снижения точности и оставить достаточно памяти для восьми параллельных контекстных окон объёмом по 1 млн токенов.

Результаты тестирования: - Генерация в одном потоке: 14 токенов/с. - Генерация при заполненном контексте в 1 млн токенов: 12 токенов/с. - Пропускная способность декодирования с пакетной обработкой: 40 токенов/с. - Скорость предварительной обработки промпта: 85 токенов/с.

0
3

Комментарии

Войдите, чтобы оставить комментарий.

Комментариев пока нет. Будьте первым!