ByteDance: новый подход к ИИ-рассуждениям

Разработчики из ByteDance представили исследование, которое может изменить подход к созданию ИИ, способного к рассуждениям. Традиционные методы "холодного старта" больших языковых моделей (LLM) для выполнения задач с длинной цепочкой рассуждений (Long CoT) часто оказываются неэффективными – модели теряют ход или не могут переносить логические паттерны.

Команда ByteDance обнаружила, что проблема заключается в неправильном понимании природы рассуждений. Эффективные ИИ-рассуждения имеют устойчивую, молекулярную структуру, а не просто последовательность слов или узлов. Рассуждения строятся как сложные молекулы, где отдельные шаги связаны различными типами "связей".

Исследователи выделили три типа таких связей: "ковалентные" (глубокие рассуждения, логическая основа), "водородные" (саморефлексия, стабилизация) и "силы Ван-дер-Ваальса" (исследование, поиск новых путей). Они также разработали метод MOLE-SYN, который переносит структуру рассуждений, а не просто копирует текст, что позволяет создавать более стабильные модели.

Кроме того, исследование проливает свет на способы защиты интеллектуальной собственности в ИИ. Сжатие и суммирование рассуждений затрудняют клонирование модели, разрушая структуру связей между элементами.