ATOM отчет о состоянии открытых LLM и курс по RLHF

Пост посвящён обзору моих недавних усилий, которые не оправдали необходимости в отдельной публикации Interconnects, причинам, по которым я этим занимаюсь, и результатам, которых я достиг.

Отчёт ATOM: измерение экосистемы открытых языковых моделей
Книга по посттренировке готова и доступна для предзаказа!
Курс по посттренировке, который я создаю
Недавние технические исследования

https://arxiv.org/abs/2604.07190
В сопровождение мемуаров проекта ATOM, которые можно считать манифестом и обоснованием необходимости инвестиций в открытые модели в США — изначально запущенных в августе 2025 года — мы выпустили обновлённый технический отчёт с самыми свежими данными, анализом и изложением эволюции экосистемы открытых языковых моделей. Отчёт ATOM насыщен методами, которые Флориан и я используем для отслеживания открытой экосистемы. В нём описано восхождение GPT-OSS, доли рынка инференса, влияние китайских игроков среднего уровня, таких как Moonshot, Z.ai и MiniMax, признаки прогресса США в области открытых моделей и многое другое.

В частности, в статье детально описаны наши обновления метрики относительного внедрения (RAM), которую мы используем для оценки внедрения недавних моделей в временной и нормированной по размеру манере. Вот пример недавних, в основном китайских, моделей по оценке RAM. Метрика RAM спроектирована так, что значение >1 означает, что на данный момент модель находится на пути войти в число 10 наиболее скачиваемых моделей своей категорий размера за всё время. Она упрощает сложную ландшафтную картину до одной легко интерпретируемой величины!

Мы также использовали эти данные для анализа недавнего релиза Gemma 4, который демонстрирует феноменальные показатели раннего внедрения. Мы будем следить за её развитием!

Подпишитесь на редкий подкаст ATOM Project в Substack за более подобных обновлений!
http://rlhfbook.com/

Цель этой книги — написать то, что я хотел бы иметь, когда только начинал изучать посттренировку языковых моделей. Этот проект долгое время находился в моём поле внимания. Домен rlhfbook.com был приобретён, и я всерьёз занялся проектом 20 мая 2024 года. И вот мы здесь!

На прошлой неделе рукопись была передана в производство вместе с редактором Manning. Это означает, что редактурные правки завершены, и через ~2 месяца книга отправится в печать. Пока я сосредоточен на разработке сопроводительного кода и курса (подробнее об этом ниже).

Предзаказить книгу можно на Amazon или на Manning (на текущий момент на Manning дешевле).

https://rlhfbook.com/course

Цель моей книги — стать центральным ресурсом для тех, кто хочет перейти от новичка к эксперту в посттренировке. Это не обязательно книга для абсолютных новичков, но по мере усиления AI-моделей важно собирать сообщество. Первый шаг по расширению охвата — от книги до полного учебного опыта — это создание лекционного курса. Лекции будут бесплатными на YouTube и включать вопросы и ответы сообщества (в виде отдельных видео между лекциями).

Вы можете посмотреть первую серию видео ниже и подписаться на YouTube на дальнейшие выпуски. Летом я продолжу развитие платформы — допишу код к книге и проведу очные мероприятия.

Приветственное видео и плейлист YouTube
Обзор RLHF и посттренировки | Лекция 1 курса по книге RLHF
Основы RLHF, IFT, моделирование вознаграждения, отклоняющая выборка | Лекция 2 курса RLHF
Понимание алгоритмов политических градиентов для RL на LLM | Лекция 3 курса RLHF
Реализация алгоритмов RL для LLM | Лекция 4 курса RLHF

Давние читатели Interconnects помнят, что этот блог изначально появился, чтобы объяснять фундаментальные исследования в области. Это имеет огромную ценность двумя способами. Во-первых, поскольку ИИ развивается невероятно быстро, всё больше людей должны уметь разбираться в исследованиях, чтобы принимать правильные решения по технологиям. Исследования — единственный ранний сигнал значимых изменений. Во-вторых, это помогает поднять карьеру моих соавторов — тех, с кем я провожу большую часть жизни! В этой связи обратите внимание на две статьи, в которых мне посчастливилось поучаствовать:

https://arxiv.org/abs/2603.16759 — TurnWise: разрыв между однораундовыми и многораундовыми возможностями языковых моделей, Graf et al. 2026
Эта работа исследует сильные стороны различных моделей в многораундовых диалоговых сценариях, способы генерации обучающих данных для их улучшения и другие особенности посттренировки. Мой интерес здесь полностью сместился в сторону агентов, где многораундовое взаимодействие — крайне важная проблема интерфейса: какую информацию представлять пользователю, чтобы решить задачу максимально быстро без ухода в сторону?

https://arxiv.org/abs/2603.11327 — Мета-обучение с самоанализом для агентного поиска, Xiao et al. 2026
В этой статье решение сложных задач с RLVR рассматривается как задача метаобучения, при которой контекст предыдущих попыток используется для корректировки последующих рулонтов. С одной стороны, это интуитивно ясная идея, так как большая часть RL для LLM всё ещё очень он-полициклична и наивна. Модели обучаются на недавних попытках в параметрах, но не в контексте. Эта работа вписывается в широкий спектр недавних исследований, посвящённых формулированию RL для решения различных задач непрерывного обучения. Другая важная связанная работа — Learning to Discover at Test Time.

В ближайшие месяцы я отправляюсь в Китай (а затем, надеюсь, в Вашингтон), чтобы больше узнать, как мир воспринимает прогресс в ИИ. Мне интересно пообщаться с более широким кругом людей, чем обычно удаётся в рамках моей технической работы. Спасибо, что читаете — как всегда!