Thinking Machines выпустила Inkling 2 Small — модель, которая, несмот…

Thinking Machines выпустила Inkling 2 Small — модель, которая, несмотря на свои размеры, способна конкурировать с куда более крупными флагманами.

Она построена на архитектуре Mixture-of-Experts и насчитывает 594 млрд параметров, но при обработке каждого токена задействует лишь 17 млрд. Кроме того, модель умеет работать с изображениями и позволяет регулировать глубину рассуждений.

В тестах по программированию Inkling 2 Small не уступает многим значительно более крупным моделям. Но самое интересное — третье место в DesignArena, где она оказалась сразу за мощнейшими закрытыми моделями.

Полные веса обещают опубликовать уже на следующей неделе под лицензией Apache 2.0.

https://thinkingmachines.ai/news/inkling-2-small/