Taalas: Специализированные чипы для ИИ вместо GPU

Компания Taalas из Торонто делает ставку на аппаратную оптимизацию, а не на гибкость GPU, чтобы сделать ИИ более доступным. Разработчики считают, что для широкого распространения ИИ необходимо не "симулировать" интеллект на универсальных компьютерах, а напрямую "отливать" его в кремнии.

Основная проблема современных систем — "узкое место памяти". Традиционные процессоры (GPU) разделяют вычисления и память, тратя значительную часть энергии на перемещение данных. Решение Taalas заключается в устранении этого цикла передачи данных путём прямого преобразования вычислительного графа модели в физическую структуру чипа.

В их чипе HC1 веса и архитектура модели буквально встроены в кремний. Это позволило достичь скорости обработки в 17 000 токенов в секунду при работе с моделью Llama-3.1 8B — значительно выше, чем у NVIDIA H100. Также заявлено 1000-кратное повышение эффективности по сравнению с традиционными чипами.

Автоматизация процесса проектирования позволяет Taalas создавать новые чипы всего за два месяца, что позволяет быстро адаптироваться к новым моделям.