Эндрю Амброзино, который руководит десктопным Codex в OpenAI, рассказал о своём личном тесте для каждой новой модели. Он просит её переписать всё приложение Codex на Rust с GPUI, библиотекой интерфейсов от создателей редактора Zed.

Сложность, по его словам, не только техническая. Codex сейчас кроссплатформенный, так его сделали ради скорости. Команда меняет продукт в таком темпе, что держать несколько нативных версий с одинаковыми функциями до сих пор не получалось.

Мечта Амброзино в том, чтобы одна сильная модель поддерживала сразу:

1) нативную версию для Mac на Objective-C 2) версию на WinUI 3 для Windows 11 3) отдельную версию на Rust

И чтобы все три шли вровень по функциям.

"Мы ещё не там. Но подбираемся всё ближе" говорит он.

Но это его личная проверка, официальным бенчмарком OpenAI она не считается. Насколько далеко продвинулась последняя модель, он не уточнил.

Самый честный бенчмарк, своя задача, которую вы знаете до последнего файла.