think-anywhere: новый подход к генерации кода с помощью llm

Приложение для безопасного чата TeleGuard, которое скачали более миллиона раз, позиционируется как безопасный способ общения. Однако приложение загружает приватные ключи пользователей на сервер компании, что делает расшифровку сообщений тривиальной.

Почему ждать до конца, чтобы понять, что код вашей модели не будет работать?

Недавние достижения в рассуждениях с использованием больших языковых моделей следуют простому паттерну: сначала тщательно продумайте проблему, а затем сгенерируйте ответ. Этот подход работает особенно хорошо для математических соревнований, где вся задача представлена перед началом. Однако генерация кода демонстрирует другую картину.

Стоит рассмотреть разницу между решением словесной задачи и написанием фактического кода. Математическая задача представляется полностью: "Поезд отправляется из Бостона со скоростью 60 миль в час, другой — из Нью-Йорка со скоростью 70 миль в час, они находятся на расстоянии 200 миль друг от друга, когда они встретятся?" Вы можете продумать всю задачу перед тем, как начать ее решать. Код работает по-другому. Вы начинаете писать JSON-парсер с валидацией и только на середине понимаете, что рекурсивные структуры требуют принципиально иного подхода, чем предполагалось. Сложность не была скрыта в постановке задачи, она возникла в процессе реализации.

Эта разница объясняет, почему подход "сначала подумай, затем сгенерируй" достиг предела для кода. Проблемы раскрывают свою истинную сложность постепенно, по мере продвижения реализации. Разным разделам требуется разное количество рассуждений. Некоторые строки кода получаются естественным образом, другие — это алгоритмические кошмары. Заранее продумывание тратит токены на сценарии, которые никогда не реализуются, а к тому времени, когда модель застревает, она уже привержена неверным решениям.

Новая статья представляет фундаментальное понимание: для генерации кода нужен другой подход. Вместо планирования всего перед началом ввода, модели должны иметь возможность останавливаться и думать в любой момент в процессе генерации, особенно когда неопределенность возрастает. Это называется "Think-Anywhere" и меняет наше представление о рассуждениях в ИИ.

Прежде чем предлагать решения, необходимо определить, какой сигнал может сообщить модели: "тебе нужно подумать больше здесь". Ответ кроется в измеримом показателе: энтропии токенов.