Google: Новый подход к точности и экономии LLM и ещё 3 новости

Google: Новый подход к точности и экономии LLM

Ученые из Google и Университета Вирджинии предложили новый способ оценки "глубины мышления" больших языковых моделей (LLM). Ранее считалось, что чем длиннее рассуждения модели, тем лучше. Однако новое исследование показывает, что простое увеличение количества токенов не гарантирует точности.

Вместо этого исследователи предлагают использовать "коэффициент глубокого мышления" (DTR), который измеряет, насколько сильно меняются прогнозы модели на разных слоях нейронной сети. Оказалось, что этот показатель гораздо лучше коррелирует с точностью, чем просто длина ответа.

Новый подход, названный Think@n, позволяет сократить вычислительные затраты почти вдвое, отсеивая "неперспективные" варианты ответов на ранней стадии. В тестах на математическом бенчмарке AIME 25, Think@n показал более высокую точность, чем стандартные методы, и при этом снизил затраты на 49%.

FlowPrefill: Оптимизация больших языковых моделей

Разработчики представили FlowPrefill — систему обслуживания больших языковых моделей (LLM), направленную на снижение задержек при обработке запросов. Проблема возникает из-за того, что долго выполняющиеся запросы могут блокировать ресурсы, необходимые для более приоритетных задач, что приводит к увеличению времени до получения первого токена (TTFT).

FlowPrefill решает эту проблему, отделяя гранулярность прерывания от частоты планирования. Система использует "операторный уровень прерывания", позволяющий прерывать выполнение на границе операторов, что более эффективно, чем разбиение на мелкие части. Также применяется "событийно-управляемое планирование", которое запускает планирование только при появлении или завершении запроса, минимизируя накладные расходы.

По результатам тестирования на реальных данных, FlowPrefill увеличивает пропускную способность вплоть до 5.6 раз по сравнению с существующими системами, одновременно обеспечивая выполнение различных требований к скорости обработки.

Искусственный интеллект: владеть, а не арендовать

В последнее время ИИ часто позиционируется как "цифровой помощник", однако реальность сложнее. Внедрение систем ИИ в основные рабочие процессы меняет работу команд и ставит непростые вопросы: что действительно ускоряется, что становится рискованнее, и где необходим контроль человека?

На саммите Cisco AI обсудили практическое применение этих изменений. Главный вывод: компании должны освоить совместную работу человека и ИИ. В ближайший год ИИ сможет автономно решать около 80% рутинных сетевых проблем, а для оставшихся 20% потребуется участие человека.

В будущем компании, которые научатся проектировать взаимодействие человека и ИИ с учетом доверия, управления и целей, определят новый уровень эффективности. Важно не заменять людей ИИ, а использовать ИИ для выполнения рутинных задач, позволяя людям сосредоточиться на творчестве и стратегическом мышлении.

Ключевым моментом станет интеграция ИИ непосредственно в продукты, а не просто добавление API. Это позволит создать замкнутый цикл обучения на основе собственных данных, обеспечивая устойчивое преимущество. В конечном итоге, ИИ должен принадлежать предприятиям и людям, а не централизованным поставщикам.

ByteDance: новый подход к ИИ-рассуждениям

Разработчики из ByteDance представили исследование, которое может изменить подход к созданию ИИ, способного к рассуждениям. Традиционные методы "холодного старта" больших языковых моделей (LLM) для выполнения задач с длинной цепочкой рассуждений (Long CoT) часто оказываются неэффективными – модели теряют ход или не могут переносить логические паттерны.

Команда ByteDance обнаружила, что проблема заключается в неправильном понимании природы рассуждений. Эффективные ИИ-рассуждения имеют устойчивую, молекулярную структуру, а не просто последовательность слов или узлов. Рассуждения строятся как сложные молекулы, где отдельные шаги связаны различными типами "связей".

Исследователи выделили три типа таких связей: "ковалентные" (глубокие рассуждения, логическая основа), "водородные" (саморефлексия, стабилизация) и "силы Ван-дер-Ваальса" (исследование, поиск новых путей). Они также разработали метод MOLE-SYN, который переносит структуру рассуждений, а не просто копирует текст, что позволяет создавать более стабильные модели.

Кроме того, исследование проливает свет на способы защиты интеллектуальной собственности в ИИ. Сжатие и суммирование рассуждений затрудняют клонирование модели, разрушая структуру связей между элементами.