Главный научный сотрудник OpenAI Якуб Пахоцкий опубликовал эссе «ИИ КАК ЧУЖОЙ РАЗУМ», в котором выразил серьезную обеспокоенность развитием технологий в ближайшие годы.

Он предупреждает, что текущий темп прогресса неизбежно приведет к рекурсивному самоулучшению нейросетей. К последствиям этого процесса мир пока совершенно не готов: ни одна лаборатория, включая саму OpenAI, еще не решила проблему контроля и мониторинга так, чтобы продолжать масштабирование на полной скорости без рисков.

Пахоцкий рисует мрачную перспективу: будущие агенты могут начать преследовать собственные цели, вступать в переговоры, обманывать и даже шантажировать людей. Человечество рискует оказаться на обочине прогресса, запущенного интеллектом, который превзойдет наш собственный.

В тексте он ссылается на прогнозы Рэя Курцвейла, констатируя, что мы официально достигли той точки истории, когда машинный разум начинает обходить человеческий в ключевых аспектах преобразования мира. Это момент, требующий предельной осторожности.