OpenAI улучшает работу с устаревшими языками программирования
OpenAI представила два новых бенчмарка для языков с малой базой данных: MultiLangBench и оценку миграции COBOL. Результаты GPT-6 впечатляют.
Языки из прошлого, критичные для настоящего
Когда разработчики думают об искусственном интеллекте и программировании, в голову, как правило, приходят Python, JavaScript или TypeScript. Однако за кулисами мировой финансовой системы, государственных структур и крупнейших корпораций продолжают работать совсем другие языки — старые, малоизвестные, почти забытые. COBOL, Fortran, Visual Basic, OCaml — именно они обеспечивают работу инфраструктуры, от которой зависят миллиарды людей каждый день.
COBOL обслуживает более 40% систем онлайн-банкинга, 80% транзакций по банковским картам при личном присутствии и 95% операций через банкоматы, а Fortran используется в метеорологических прогнозах и анализе безопасности ядерных объектов.
OpenAI называет языки COBOL, Fortran и Visual Basic «low-resource», потому что моделям доступно гораздо меньше кода и документации для обучения, чем для Python или JavaScript. Тем не менее именно эти языки составляют фундамент критически важных систем по всему миру.
Улучшение способности ИИ работать с этими языками могло бы помочь командам поддерживать и модернизировать программное обеспечение, от которого зависят базовые сервисы.
Два новых бенчмарка: как OpenAI измеряет прогресс
Чтобы сделать прогресс измеримым, OpenAI разработала два оценочных инструмента. MultiLangBench проверяет, способна ли модель построить SQLite-совместимый движок базы данных с нуля на 20 различных языках программирования. Оценка миграции COBOL проверяет, может ли модель перенести существующие программы на другой язык, сохраняя их поведение. Вместе они тестируют два взаимодополняющих навыка: создание нового программного обеспечения и сохранение функциональности существующего.
graph TD
A[OpenAI: оценка низкоресурсных языков] --> B[MultiLangBench]
A --> C[COBOL Migration Eval]
B --> D[20 языков программирования]
B --> E[Построение SQLite-движка с нуля]
C --> F[Перенос COBOL-кода на современный язык]
C --> G[Проверка идентичности поведения]
D --> H[GPT-6 Astra: 87.4%]
F --> I[GPT-6.1 Sol: до 97.9%]
MultiLangBench: строим базу данных на 20 языках
Задание разворачивается в рамках расширенной сессии кодирования: модель должна добавлять функции, управлять состоянием и не нарушать то, что уже работает. Вместо оценки интерфейса каждого языка тест проверяет базу данных, которую создаёт программа.
При максимальных усилиях рассуждения GPT-6 Astra достигает среднего процента прохождения тестов 87,4% на 20 языках — по сравнению с 26,8% для GPT-5.6 Sol.
Улучшения затронули все тестируемые языки, включая COBOL (с 10,9% до 72,1%), OCaml (с 25,6% до 85,8%), Fortran (с 21,4% до 83,5%) и Visual Basic (с 27,5% до 89,4%).
Оценка миграции COBOL: сохранить логику десятилетий
Перенос COBOL-кода на современные языки — задача принципиально иная, чем просто написание нового кода. Это важно, потому что переписанная программа может успешно выполняться и при этом изменить финансовый результат — например, округлить десятичные значения там, где исходная программа их усекала.
OpenAI проверяет наблюдаемые результаты побайтово с помощью скрытых тестов. Миграция считается успешной только в том случае, если все тесты пройдены.
GPT-6.1 Sol достигает точности 86,6% при низких усилиях рассуждения, по сравнению с 5,4% для GPT-5.6 Sol при тех же настройках — и при этом обходится в 61% от стоимости API. При более высоких усилиях рассуждения точность достигает 97,9%, что приближает оценку к насыщению.
«Прогресс здесь означает понимание десятилетий бизнес-логики и помощь разработчикам в модернизации этих систем с сохранением всего, что в них работает.» — OpenAI
Сравнительная таблица результатов
| Язык | GPT-5.6 Sol (MultiLangBench) | GPT-6 Astra (MultiLangBench) | Прирост |
|---|---|---|---|
| COBOL | 10,9% | 72,1% | +61,2 п.п. |
| OCaml | 25,6% | 85,8% | +60,2 п.п. |
| Fortran | 21,4% | 83,5% | +62,1 п.п. |
| Visual Basic | 27,5% | 89,4% | +61,9 п.п. |
| Среднее (20 языков) | 26,8% | 87,4% | +60,6 п.п. |
| Оценка | Модель | Точность (низкие усилия) | Точность (высокие усилия) |
|---|---|---|---|
| Миграция COBOL | GPT-5.6 Sol | 5,4% | — |
| Миграция COBOL | GPT-6.1 Sol | 86,6% | 97,9% |
Почему это важно для реального бизнеса
Представьте масштаб задачи: крупные банки, налоговые службы и страховые компании по всему миру держат в эксплуатации миллионы строк COBOL-кода, написанного ещё в 1970–1980-х годах. Эти системы работают, и именно поэтому никто не торопится их трогать. Но специалисты, умеющие читать и поддерживать COBOL, уходят на пенсию, а новые не приходят.
Эти языки обеспечивают работу программного обеспечения, на которое опираются банки, правительства и предприятия. Прогресс в этой области означает понимание десятилетий бизнес-логики и помощь разработчикам в модернизации этих систем с сохранением того, что работает.
Пример: чем опасна «почти правильная» миграция
Допустим, старый COBOL-код вычисляет процент по вкладу и усекает результат до двух знаков после запятой:
COMPUTE INTEREST = BALANCE * RATE / 100
MOVE FUNCTION INTEGER(INTEREST * 100) / 100 TO INTEREST-DISPLAY
Если новая программа на Python округлит это значение вместо усечения:
interest = round(balance * rate / 100, 2) # Может дать другой результат!
Разница на уровне одной копейки в одной транзакции — это катастрофа при масштабировании на миллионы операций в день. Именно поэтому побайтовая проверка выходных данных в оценке OpenAI принципиально важна.
Открытый бенчмарк: проверьте сами
OpenAI сообщает, что выпускает конфигурацию оценки, набор тестов и результаты по каждому языку на GitHub. Это означает, что любая команда разработчиков или исследователей может воспроизвести тесты, сравнить модели и предложить улучшения.
Если ваша организация работает с legacy-кодом на COBOL, Fortran или Visual Basic, вы можете:
- Загрузить бенчмарк MultiLangBench с GitHub OpenAI
- Запустить тесты на вашем конкретном диалекте или версии языка
- Сравнить результаты GPT-6 Astra и GPT-6.1 Sol с учётом соотношения цена/качество
- Начать пилотный проект миграции с экспертной проверкой результатов
Итог: новая эра поддержки legacy-систем
Объявление OpenAI от 19 октября 2026 года — это не просто технический результат. Это сигнал для всей индустрии: AI-модели начинают по-настоящему понимать «мёртвые» с точки зрения популярности, но живые с точки зрения эксплуатации языки.
Скачок GPT-6.1 Sol в тесте миграции COBOL — с 5,4% до 86,6% за одно поколение моделей — беспрецедентен. А результат 97,9% при высоких усилиях рассуждения говорит о том, что автоматизированная помощь в модернизации legacy-кода из области фантастики переходит в область реально применимых инструментов.
Главное, что нужно помнить: ИИ здесь выступает не как замена экспертизы, а как её усилитель. Финальное слово всегда за специалистом, который понимает бизнес-контекст и специфику конкретной системы.