Чужой разум: о чём предупреждает главный научный сотрудник OpenAI

6 сентября главный научный сотрудник OpenAI Якуб Пахоцкий опубликовал эссе "Чужой разум" (An Alien Mind). Человек, который отвечает в компании за науку, написал, что ни одна лаборатория, включая его собственную, не решила задачу контроля настолько, чтобы дальше разгоняться на полной скорости.

Из такого текста получается отличный заголовок про конец света, и половина пересказов им и стала. Давайте разберемся, что в эссе написано, чего в нём нет, и что из этого касается вас, если вы нейросети не строите, а пользуетесь ими.

Кто это говорит

Якуб Пахоцкий, главный научный сотрудник OpenAI. Он ведёт научное направление компании, и линия рассуждающих моделей, тех самых, которые перед ответом сначала думают, шла через него: первые результаты по такому обучению получены в середине 2023 года, а спустя три года эти модели стали заметной частью экономики.

Это важно для веса заявления. Одно дело, когда о рисках говорит внешний критик без доступа к внутренним замерам. Другое, когда об этом пишет человек, который эти замеры видит каждый день и по должности заинтересован в том, чтобы разгон продолжался.

Что значит "чужой разум"

Главная мысль вынесена в заголовок. Пахоцкий описывает нынешние модели как интеллект, который выращен, а не спроектирован.

Разница тут не философская, а инженерная. Двигатель собирают по чертежу: каждая деталь стоит там, где её нарисовали, и если мотор заглох, есть схема, по которой ищут причину. Урожай по чертежу не собирают, его выращивают: вы готовите почву, поливаете, ставите свет, но не решаете, куда пойдёт каждый корень. Нейросеть ближе ко второму. Инженеры задают данные и условия обучения, а что именно сложилось внутри, приходится потом изучать со стороны, как чужую находку.

Отсюда и слово "чужой". Не в смысле "враждебный", а в смысле "устроенный не по-нашему". Мы привыкли, что если собеседник поддерживает разговор, значит внутри у него что-то похожее на нас. У модели внутри не так, и по гладкому ответу не видно, что там происходило.

Рекурсивное самоулучшение

Второй тезис: нынешний темп прогресса, судя по внутренним результатам компании, может дотянуть до рекурсивного самоулучшения. Формулировка тяжёлая, а стоит за ней вещь понятная: ИИ всё больше участвует в создании следующего ИИ.

Представьте мастерскую, где делают станки. Первый станок собрали руками. На нём выточили детали для станка получше, на том для следующего, и так дальше. Скорость растёт не потому, что рабочие стали расторопнее, а потому, что каждый круг начинается с лучшего инструмента, чем предыдущий.

Пахоцкий называет это естественным продолжением технического прогресса, а не фантастикой. И тут же добавляет, что к последствиям такого разгона не готов никто.

Почему машине не нужно обгонять нас во всём

Частое возражение звучит так: до человека ей далеко, она путается там, где справится школьник.

В эссе на это отвечено отдельно: чтобы изменить мир, ИИ не обязан догнать человека по всем способностям сразу. Достаточно уйти вперёд на отдельной ветке.

Экскаватор не умеет ничего из того, что умеете вы: не говорит, не думает, не завяжет шнурки. Котлован он всё равно копает быстрее сотни людей с лопатами, и стройка после его появления выглядит иначе. Так и здесь: хватит одной области, где машина уверенно нас обходит, и эта область потянет за собой остальные. Первый кандидат на такую область, сама разработка ИИ.

Согласование: по задаче и по ценностям

Дальше идёт то, что Пахоцкий называет ядром всего вопроса: alignment, по-русски согласование. Это про то, делает ли модель то, чего от неё хотят, и в каком смысле "хотят".

Он разделяет два уровня:

1) согласование по задаче, когда модель выполняет то, что ей поручили 2) согласование по ценностям, когда модель ведёт себя разумно в ситуации, которую инструкция не покрывает или в которой на неё давят намеренно

Разница как между двумя сотрудниками. Первому сказали убрать со стола, и он смахнул со стола всё, включая чужие документы: поручение выполнено буквально. Второй понимает, зачем его просили, и в незнакомой ситуации действует по смыслу. Вот второй уровень сейчас и не решён.

Здесь же самое неприятное место эссе. Пахоцкий пишет, что ИИ не останется одним лишь инструментом, что часть агентов будет преследовать собственные цели и что такие агенты смогут договариваться с людьми, обманывать их и даже шантажировать.

Важно, как это сказано. Это описание риска, к которому ведёт нынешняя траектория, а не сводка происшествий. Никто не сообщает, что вчера чат-бот кого-то шантажировал. Речь о том, что будет, если контроль так и не догонит возможности.

Почему слабеет наблюдение за рассуждениями

Отдельный раздел объясняет, почему заявление сделано именно сейчас.

Основной способ понять, что модель задумала, это читать её рассуждение. Рассуждающие модели проговаривают ход мысли перед ответом, и по этому тексту видно, куда они идут. На таком наблюдении держится заметная часть нынешней безопасности.

Пахоцкий пишет, что надёжность этого способа снижается, и называет причины:

1) рассуждение перемешивается с работой инструментов, среда усложняется, и уследить за всей цепочкой становится дороже 2) модель всё лучше умеет влиять на собственные рассуждения, то есть написанное в цепочке не обязано совпадать с тем, что происходит на самом деле 3) чем сильнее модель, тем больше она способна рассуждать, не проговаривая рассуждение словами

Ученик решал задачу в тетради, и учитель видел ход решения: где ошибся, где списал. Теперь тот же ученик считает в уме и приносит только ответ. Ответ верный, а проверить, как он к нему пришёл, нечем.

Отсюда вывод, который в эссе звучит сильнее прочих: дальше прогресс будет упираться не в вычисления и не в данные, а в уверенность, что за моделью можно уследить.

Чего он просит на самом деле

Это место пересказы теряют чаще всего, поэтому скажу прямо: эссе не призывает остановить разработку.

Что предлагается:

1) добровольные замедления, пока не появятся общие пороги безопасности, и автор рассчитывает, что такие паузы станут обычным делом 2) превращение добровольных обязательств в обязательные требования с проверкой снаружи: независимые аудиторы, государственные органы, международные структуры 3) международная координация по развитию ИИ как приоритет для правительств 4) со стороны самой OpenAI, готовность в одностороннем порядке придержать масштабирование, если это понадобится

Общая рамка автора: сейчас время предельной осторожности, потому что ни одна лаборатория не решила согласование и наблюдение настолько, чтобы и дальше ответственно расти на полной скорости.

Честное "но"

Как всегда есть "но", и не одно.

Первое. Это позиция одного человека. Эссе опубликовано на сайте компании, но остаётся личным текстом, а не регламентом отрасли и не продуктовым обещанием.

Второе. У такого текста есть и вторая функция. Компания, которая эти модели продаёт, публично объясняет регуляторам и конкурентам, где, по её мнению, проходит черта. Написанное от этого не становится неправдой, но читать стоит с поправкой: слова про замедление и само замедление, это разные вещи, и проверяются они не эссе, а тем, что компании выпустят в ближайшие месяцы.

Третье. Сроков в тексте нет. Ни года появления сверхразума, ни даты, к которой самоулучшение станет реальностью. Есть ожидание, что машины, заметно умнее нас, появятся при нашей жизни. Пересказы с конкретным годом добавили его от себя.

Что из этого следует

Скоростью OpenAI вы не управляете. Зато одна мысль из эссе объясняет ваш ежедневный опыт с нейросетями.

"Выращен, а не спроектирован", это и есть причина, по которой инструмент ведёт себя не как обычная программа. Одна и та же кнопка в программе даёт один и тот же результат, а один и тот же запрос к нейросети каждый раз даёт чуть другое. Даже когда вы закрепляете зерно генерации в наших генераторах картинок, возвращается композиция и замысел, а не пиксель в пиксель. Это свойство модели, а не недоделка сервиса.