Создание ai-агента для веба с помощью molmo web-4b и ещё 8 новости

Создание ai-агента для веба с помощью molmo web-4b

Создание веб-агента искусственного интеллекта, управляемого зрением, с использованием MolmoWeb-4B включает в себя многомодальное рассуждение и прогнозирование действий. MolmoWeb-4B — это модель, разработанная для взаимодействия с веб-страницами через визуальное восприятие и языковое понимание.

Агент работает, сначала воспринимая скриншот веб-страницы, затем используя MolmoWeb-4B для рассуждения об элементах на странице и, наконец, прогнозируя действия, которые необходимо выполнить для достижения заданной цели. Модель преобразует визуальную информацию в понятное представление, которое затем используется для генерации инструкций.

MolmoWeb-4B использует подход, основанный на трансформаторах, для объединения визуальных и языковых данных. Это позволяет агенту понимать контекст веб-страницы и принимать обоснованные решения о том, какие действия следует предпринять. Модель способна выполнять широкий спектр задач, таких как заполнение форм, нажатие на кнопки и навигация по веб-страницам.

Ключевой частью архитектуры является механизм прогнозирования действий. Он предсказывает последовательность действий, необходимых для достижения цели, основываясь на текущем состоянии веб-страницы и заданной цели. Этот механизм использует вероятностный подход, который позволяет агенту исследовать различные возможные пути и выбирать наиболее перспективный.

Компьютерное зрение помогает в мониторинге рыб

Ученые использовали компьютерное зрение для расширения возможностей гражданской науки в мониторинге рыб. Традиционно, мониторинг рыб полагается на добровольцев, которые отслеживают популяции рыб, но это может быть трудоемким и подвержено ошибкам. Исследователи разработали систему компьютерного зрения, которая автоматически идентифицирует рыб на фотографиях, сделанных добровольцами.

Система была обучена на большом наборе изображений рыб, и она способна идентифицировать различные виды рыб с высокой точностью. Система может использоваться для автоматического анализа фотографий, предоставленных добровольцами, что позволяет быстро и эффективно отслеживать популяции рыб. Это освобождает добровольцев от необходимости вручную идентифицировать каждую рыбу, и позволяет им сосредоточиться на других аспектах мониторинга.

Новый подход объединяет преимущества гражданской науки и компьютерного зрения, обеспечивая более надежный и эффективный способ мониторинга рыб. Система демонстрирует потенциал для улучшения усилий по сохранению рыб и управления ими, позволяя исследователям отслеживать изменения в популяциях рыб с большей точностью и оперативностью.

Разработка спецификации модели: принципы и подходы

В нашей работе над спецификацией модели мы придерживаемся нескольких ключевых принципов. Во-первых, мы стремимся к ясности и конкретике в описании желаемых возможностей модели. Во-вторых, мы делаем акцент на измеримости, то есть определяем четкие метрики для оценки производительности модели. В-третьих, мы уделяем внимание гибкости, позволяющей адаптировать модель к различным сценариям использования.

Мы рассматриваем спецификацию модели как живой документ, который постоянно развивается по мере получения новой информации. Этот процесс включает в себя тесное взаимодействие с командами разработчиков и пользователей, чтобы убедиться, что модель соответствует их потребностям. Мы также используем итеративный подход, начиная с минимально жизнеспособного продукта и постепенно добавляя новые функции.

Особое внимание мы уделяем определению границ ответственности между различными командами. Это помогает избежать дублирования усилий и обеспечивает согласованность в разработке. Важной частью процесса является также документация, которая позволяет всем заинтересованным сторонам понять, как работает модель и как ее можно использовать.

vibe coding xr: ускорение прототипирования ai и xr

Vibe Coding XR ускоряет прототипирование ИИ и XR с помощью XR Blocks и Gemini.

XR Blocks – это библиотека готовых блоков для создания XR-приложений. Gemini используется для генерации кода и логики в XR Blocks, упрощая создание прототипов и эксперименты с ИИ в XR.

Решение позволяет быстро создавать прототипы, комбинируя блоки и используя возможности Gemini для автоматической генерации кода. Это ускоряет процесс разработки и позволяет сосредоточиться на итерациях и тестировании идей.

Vibe Coding XR позволяет разработчикам XR и ИИ быстро создавать прототипы, используя визуальный интерфейс и возможности генеративного ИИ Gemini.

ИИ для плавного движения складских роботов разработан в MIT

Система искусственного интеллекта обучается поддерживать плавный трафик для роботов-складских работников.

Исследователи из Массачусетского технологического института разработали систему искусственного интеллекта, которая помогает роботам-складским работникам избегать столкновений и поддерживать плавный трафик. Система, названная "Cooperative Navigation", работает путем прогнозирования траекторий движения других роботов и соответствующей корректировки собственной траектории.

Система обучается на основе данных, собранных из реальных складских сред. Она использует методы машинного обучения для прогнозирования поведения других роботов и оптимизации своего собственного движения. Исследователи продемонстрировали, что "Cooperative Navigation" может значительно снизить количество столкновений и повысить общую эффективность работы склада.

Система может быть использована для управления большим количеством роботов одновременно. Она способна адаптироваться к изменяющимся условиям на складе, таким как изменение расположения товаров или появление новых роботов. В перспективе "Cooperative Navigation" может стать важным инструментом для автоматизации и оптимизации работы складов и логистических центров.

tencent ai открыла исходный код covo-audio

Tencent AI открыла исходный код Covo-Audio — 7B-параметровой end-to-end аудиоязыковой модели и конвейера вывода для разговоров и рассуждений в реальном времени.\r \r В отличие от классических систем, которые последовательно пропускают аудио через три отдельных компонента (распознавание → языковая модель → синтез речи), Covo-Audio обрабатывает непрерывный аудиовход и генерирует аудиовыход в единой архитектуре за один проход. Это снижает накопление ошибок и задержку.\r \r Модель прошла двухэтапное предобучение на 2 триллионах токенов, охватывающих речевые и текстовые данные на нескольких языках. На бенчмарках MMAU и MMSU Covo-Audio показала лучшие результаты среди моделей своего масштаба, сравнявшись с некоторыми 32B-системами.\r \r Отдельно выпущен вариант Covo-Audio-Chat-FD с поддержкой full-duplex — то есть модель может одновременно слушать и говорить с низкой задержкой, что важно для голосовых помощников реального времени.\r \r Веса модели и код для инференса опубликованы на GitHub и HuggingFace под лицензией CC BY 4.0.

Cohere Transcribe: новая модель автоматического распознавания речи

Cohere AI выпустила модель автоматического распознавания речи (ASR) под названием Cohere Transcribe, предназначенную для корпоративных решений в области анализа речи. Модель обеспечивает высокую точность транскрипции и создана для работы с различными акцентами и условиями записи.

Cohere Transcribe ориентирована на применение в бизнесе, включая автоматизацию обслуживания клиентов, анализ звонков и создание расшифровки аудио- и видеозаписей. Модель способна преобразовывать речь в текст с высокой скоростью и точностью, что позволяет предприятиям эффективно анализировать большие объемы аудиоданных.

Модель доступна через API Cohere, что позволяет разработчикам интегрировать ее в свои приложения и сервисы. Cohere утверждает, что Transcribe демонстрирует результаты, соответствующие современным стандартам, и предлагает конкурентоспособные характеристики по сравнению с другими моделями ASR.

полиция использует flock для выписки предписания о нарушении пдд

Полиция использовала систему Flock для выписки водителю предписания о нарушении правил дорожного движения. Система Flock, предназначенная для обнаружения автомобилей, причастных к преступлениям, оповестила полицию о пикапе Ford F-150, который, как выяснилось, был причастен к нарушению правил дорожного движения, а не к преступлению.

Согласно сообщению, водитель пикапа проехал на красный свет и не пропустил пешехода на пешеходном переходе. Система Flock предоставила полиции видеозапись инцидента, которая послужила доказательством для выписки предписания.

Полиция заявила, что это первый случай использования системы Flock для выписки предписания о нарушении правил дорожного движения в их юрисдикции. Они также отметили, что система Flock может быть полезным инструментом для повышения безопасности дорожного движения.

Википедия запретила контент, созданный искусственным интеллектом

Википедия запретила использование контента, созданного искусственным интеллектом (ИИ), на своей платформе. Это решение было принято после того, как один из редакторов Википедии обнаружил, что статья о текущих событиях, посвященная премьер-министру Канады Джастину Трюдо, была сгенерирована ИИ.

Это произошло после того, как пользователь, известный как "GoingBatty", обнаружил, что статья, созданная новым редактором, содержит "странные фразы" и "несоответствия". После проверки редактор обнаружил, что статья была создана с использованием чат-бота на основе ИИ. Статья была быстро удалена, и это событие спровоцировало обсуждение среди редакторов Википедии о потенциальных проблемах, связанных с контентом, созданным ИИ.

В результате Википедия ввела новый запрет на использование контента, созданного ИИ, на своей платформе. Это решение направлено на поддержание качества и достоверности информации, представленной на Википедии. Обсуждение этого запрета продолжается, и детали его реализации уточняются. Редакторы продолжают искать способы выявления и удаления контента, созданного ИИ, чтобы обеспечить надежность платформы.