Cloudflare SDK 0.5.0: Агенты с улучшенной производительностью ИИ

Cloudflare выпустила SDK для создания "агентов" с улучшенной производительностью. Cloudflare представила версию 0.5.0 SDK для разработки "агентов" – программ, способных сохранять состояние на длительное время и эффективно выполнять задачи на основе ИИ прямо на сети Cloudflare. Это решает проблему потери контекста и задержек, возникающих при использовании традиционных серверless-функций.

Новая версия SDK включает в себя два ключевых компонента: Durable Objects для сохранения состояния и Infire – собственный движок для инференса, написанный на Rust. Durable Objects обеспечивают постоянную идентификацию и память для каждого агента, используя встроенную SQLite базу данных объемом до 1 ГБ.

Infire оптимизирует работу с GPU, снижая нагрузку на процессор и увеличивая скорость инференса. В тестах он показал прирост производительности в 7% по сравнению с vLLM 0.10.0 и снижение использования CPU до 25%. Кроме того, в SDK реализован "Режим кода", который позволяет агентам генерировать TypeScript-код для выполнения сложных задач, что существенно снижает потребление токенов.

В релизе 0.5.0 также добавлены инструменты для стабильной работы агентов, такие как автоматические повторы запросов и подавление протокола для взаимодействия с устройствами IoT.