Claude Fable 5.1 Max возглавила Code Arena WebDev с отрывом в 77 баллов

Сегодня утром в этой же таблице первой стояла Qwen3.8-Max-0902 с 1691 баллом и отрывом в четыре балла от Claude Opus 5 Max. Тогда вывод был такой: отрыв меньше погрешности, это не отрыв, а предварительная запись ещё поедет.

К вечеру она поехала. У Qwen теперь 1688 и второе место, а первое заняла Claude Fable 5.1 Max с результатом 1765 баллов. Отрыв составляет 77 баллов, и вот его придётся признать настоящим. Разберём, чем один случай отличается от другого и что стоит за ценой на графике Парето.

Таблица Code Arena WebDev: Claude Fable 5.1 Max на первом месте с 1765 баллами

Таблица

Первая восьмёрка WebDev на 2 сентября, вместе с интервалом и числом голосов. Всего в таблице 124 модели и больше 640 тысяч голосов.

Небольшое уточнение к тому, как эту таблицу пересказывают: восьмая строка называется Claude Fable 5, без пометки уровня усилия. Отдельной записи "Fable 5 Max" в таблице нет, так что сравнивать прирост версии приходится с записью без указания усилия.

Почему 77 баллов, это другое дело, чем 4

Утренний случай выглядел так: 1691 против 1687 при интервале плюс-минус 19 у лидера. Диапазоны двух моделей перекрывались почти целиком, и отличить их результаты было нельзя.

Сейчас картина другая. У Fable 5.1 Max диапазон от 1742 до 1788, у Qwen от 1670 до 1706. Они не пересекаются вообще, между ними ещё и зазор в 36 баллов. Такой отрыв погрешностью не объясняется.

Прирост к прошлой версии тоже нерядовой: 1765 против 1628 у Claude Fable 5, это 137 баллов. Для релиза, который обозначен как единица после точки, разрыв необычно большой.

Оговорка всё же есть, и её стоит держать в голове. У записи 1106 голосов, это самая молодая строка в верхушке таблицы, и интервал у неё самый широкий из топ-8. Балл будет двигаться. Но чтобы отрыв исчез, ему надо проехать почти 80 пунктов, а это совсем другой порядок, чем четыре.

Разница между двумя новостями за один день ровно в этом. Первая была шумом, вторая нет, и отличаются они двумя столбцами: интервалом и числом голосов.

Что означает цена в 40 долларов за миллион

График границы Парето Code Arena WebDev: claude-fable-5.1-max, 1765 баллов, 40 долларов за миллион токенов

На графике Парето у Fable 5.1 Max подписано 40 долларов за миллион токенов, у Qwen3.8-Max-0902 пять. Это смешанная цена, и считается она по соотношению 3 к 1 в пользу выхода. Проверить легко на обеих моделях.

У Fable 5.1 цена 10 долларов за миллион входных токенов и 50 за миллион выходных. Считаем: один доллар входа плюс три доллара выхода, делить на четыре. То есть (10 + 3 × 50) / 4 = 40. Сходится. У Qwen 2 доллара вход и 6 выход: (2 + 3 × 6) / 4 = 5. Тоже сходится.

Отсюда простая арифметика для сравнения: восьмикратная цена за прирост в 77 баллов, то есть примерно за 4,5 процента результата. На границе Парето при этом стоят обе, потому что граница, это не список лучших. Это набор точек, для каждой из которых нет модели, которая одновременно и дешевле, и сильнее.

Чего этот график не показывает

Тут начинается то, ради чего стоит читать дальше подписи.

Первое: Max, это не название модели, а уровень усилия. У Fable 5.1 их пять, от low до max, и арена справедливо держит Opus 5 (Max) и Opus 5 (High) отдельными строками, потому что это разные участники по расходу. Записи Fable 5.1 на low или medium в таблице нет, а это была бы другая точка и по баллу, и по цене.

Второе, и это важнее. Ось графика, это цена за миллион токенов, а платите вы за задачу. На высоком усилии модель тратит больше токенов на размышление, а они тарифицируются как выход. Выход в смешанной цене весит три четверти. Получается, что реальный разрыв в счёте за одну и ту же задачу больше восьмикратного, потому что дорогая модель ещё и токенов расходует больше.

Третье, в обратную сторону. У Fable 5.1 чтение кэша стоит 0,25 доллара за миллион, это в четыре раза дешевле прежнего. На повторяющемся контексте входная часть счёта почти обнуляется. Но вход в этом соотношении весит всего четверть, так что общей картины скидка не переворачивает: она помогает агентным сценариям, где один и тот же контекст перечитывается десятки раз, а не разовой генерации страницы.

Что с этим делать

1) не читать первое место как команду переходить. Арена меряет человеческие предпочтения на задачах веб-разработки, а не поведение модели на вашей кодовой базе и не число сломанных сборок
2) считать в задачах, а не в токенах. Возьмите 20 своих типовых задач, прогоните их на max и на medium, сравните и счёт, и результат. Разница по деньгам будет больше, чем разница в подписях на графике
3) для рутины высокое усилие скорее всего не нужно. Нижние уровни новой модели часто дают то же, что верхние уровни прошлой, и это самый доступный способ сократить счёт без смены модели
4) вернуться к таблице через неделю. У лидера 1106 голосов против 10 583 у Opus 5 Max, и балл ещё будет двигаться

Вывод

За один день эта таблица выдала две новости с одинаковым заголовком "первое место" и совершенно разным содержанием. В первом случае отрыв был меньше погрешности и продержался несколько часов. Во втором отрыв погрешностью не объясняется, и его стоит принять всерьёз.

Проверять это можно двумя столбцами, которые почти никогда не попадают в пересказы: доверительным интервалом и числом голосов. Если отрыв меньше интервала, новости нет, есть колебание.

Ближайший шаг для тех, кто считает бюджет: посчитайте свою смешанную цену по формуле (вход плюс три выхода) делить на четыре, а потом сравните её с реальным счётом за десяток задач на своём уровне усилия. Второе число почти всегда неприятнее первого, и знать это лучше заранее.