Когда эталон перестаёт быть эталоном

В мире искусственного интеллекта бенчмарки (benchmark — стандартный тест для оценки производительности) играют роль, схожую с ролью олимпийских нормативов в спорте: они дают общую точку отсчёта, позволяя сравнивать модели между собой. Но что происходит, когда сам эталон оказывается ненадёжным?

OpenAI опубликовала новый анализ, посвящённый SWE-Bench Pro — одному из наиболее популярных бенчмарков для оценки способностей AI-агентов решать задачи программирования. Вывод оказался неожиданно резким: детальный аудит выявил системные проблемы в SWE-Bench Pro, и по оценкам OpenAI, около 30% задач в нём содержат ошибки.

⚠ Важно
Если треть задач в тесте некорректна, результаты моделей на этом тесте не могут считаться достоверным показателем их реальных возможностей. Это касается любых публичных рейтингов и сравнений, основанных на SWE-Bench Pro.

Краткая история SWE-бенчмарков

Чтобы понять масштаб проблемы, стоит отмотать историю назад.

В октябре 2023 года исследователи из Принстона, Стэнфорда и CMU выпустили оригинальный SWE-bench: 2294 реальных GitHub-задачи с соответствующими исправлениями, взятых из 12 популярных Python-репозиториев — включая Django, Flask, SymPy и scikit-learn. Суть бенчмарка — дать агенту репозиторий и описание проблемы, и попросить сгенерировать патч, который её устраняет.

Первый SWE-bench стал шагом вперёд по сравнению с задачами типа LeetCode, которые измеряли алгоритмическое мышление, но не отражали реалий промышленной разработки. Однако и он был несовершенен.

OpenAI выявила фундаментальную проблему: многие задачи были недостаточно специфицированы, содержали неоднозначные тесты или решения, которые в принципе невозможно было вывести из описания бага. В конце 2024 года компания профинансировала масштабный пересмотр: 93 профессиональных инженера-программиста независимо проверили 1699 задач, каждую из которых оценивали три эксперта. Результатом стал SWE-bench Verified.

Однако уже в феврале 2026 года OpenAI установила, что SWE-bench Verified имеет фундаментальные проблемы с дизайном и загрязнением данных, и что этот бенчмарк перестал давать содержательный сигнал об уровне навыков автономной разработки. Компания рекомендовала сообществу перейти на SWE-Bench Pro.


timeline
    title Эволюция SWE-бенчмарков
    2023 : SWE-bench (оригинал)
         : 2294 задачи из 12 Python-репозиториев
    2024 : SWE-bench Verified
         : 500 задач, проверенных экспертами
    2025 : SWE-Bench Pro
         : 1865 задач из 41 репозитория
    2026 : Аудит OpenAI
         : ~30% задач признаны «сломанными»

Что такое SWE-Bench Pro

SWE-bench Pro расширяет методологию оценки, включая профессионально подготовленные многошаговые инженерные задачи, которые лучше воспроизводят реальные рабочие процессы разработки.

Бенчмарк содержит 1865 задач (731 публичная, 858 скрытых и 276 коммерческих) из 41 репозитория (11 публичных, 12 скрытых и 18 от корпоративных стартапов).

SWE-bench Pro вводит значительно более сложные задачи, требующие в среднем более 100 строк изменений кода в 4,1 файлах.

Для противодействия «загрязнению» данных (data contamination — ситуация, когда модель видела данные из теста во время обучения) профессиональные инженеры создают воспроизводимые среды на базе Docker, интегрируя все зависимости и инструменты сборки для корректного запуска кода и тестов.

ℹ Как устроена оценка в SWE-Bench Pro

Harvesting (сбор задач): задачи извлекаются анализом истории коммитов. Отбираются пары коммитов, которые исправляют баг или добавляют функцию, демонстрируют переход тестов из состояния «fail» в «pass» и не ломают существующую функциональность.

Augmentation (обогащение): эксперты превращают неструктурированные сообщения коммитов в чёткие описания задач с перечнем требований — без указания конкретного способа реализации.

Чем привлёк внимание SWE-Bench Pro — и в чём его проблема

Поначалу SWE-Bench Pro действительно выглядел как более надёжный инструмент. Бенчмарк значительно сложнее своих предшественников: ведущие модели набирают около 23% на публичном наборе SWE-Bench Pro, тогда как на SWE-Bench Verified те же модели преодолевали планку 70%+.

Однако прогресс оказался стремительным и подозрительным. На публичном наборе из 731 задачи передовые модели улучшили показатель прохождения с 23,3% до 80,3% всего за восемь месяцев. Такая скорость роста и стала поводом для нового аудита.

Точное измерение возможностей моделей важно для принятия взвешенных решений в области развёртывания и безопасности — в том числе в рамках Preparedness Framework OpenAI. При каждом выпуске модели компания отчитывается по результатам внешних и внутренних бенчмарков. Когда у оценок есть изъяны, влияющие на результаты, это формирует ложное представление о возможностях систем, искажает анализ безопасности и влияет на исследовательские приоритеты.

«Когда оценки имеют изъяны, они могут формировать ложное понимание возможностей, искажать анализ безопасности и смещать исследовательские приоритеты.» — OpenAI

Что именно сломано

OpenAI провела аудит SWE-Bench Pro с помощью конвейера анализа датапоинтов. Конвейер изучал попытки моделей выполнить задачу, метаданные задач и трассировки сбоев — для выявления вероятных дефектов оценки.

Вот ключевые категории найденных проблем:

Наибольшее расхождение между оценками людей и автоматическим конвейером было выявлено в категории «тесты с низким покрытием»: люди отмечали это как наиболее распространённую проблему в 9,4% задач бенчмарка, тогда как агентный конвейер — лишь в 4,1%.

Независимый аудит также выявил серьёзные проблемы с валидатором оценки. По данным аудита DeepSWE (май 2026), грейдер SWE-Bench Pro неверно оценивал примерно треть попыток: принимал неправильные патчи в 8,5% случаев и отклонял правильные — в 24% случаев.

Кроме того, 29,6% «правдоподобных» патчей демонстрировали функциональное поведение, отличающееся от написанных людьми эталонных решений; около 11% были заведомо неверными, что завышало отчётные показатели решения задач примерно на 6,2 процентных пункта.

Сравнение ключевых параметров бенчмарков

ПараметрSWE-bench (2023)SWE-bench Verified (2024)SWE-Bench Pro (2025)
Количество задач22945001865
Репозитории12 (Python)12 (Python)41 (123 языка)
Проверка экспертами❌✅ (3 эксперта на задачу)✅ + Docker-среды
Защита от контаминации❌Частичная✅ (скрытый набор)
Лучший результат (2026)~70%+~95%+~43%
Доля «сломанных» задачВысокая~59% (hard-задач)~30%

Результаты ведущих моделей на SWE-Bench Pro

Даже с учётом обнаруженных проблем данные о производительности моделей на SWE-Bench Pro представляют интерес. По последним данным, Claude Sonnet 4.5 и Claude Sonnet 4 достигают наибольших показателей — 43,6% и 42,7% соответственно, значительно опережая модели меньшего размера. OpenAI GPT-5 (high) демонстрирует показатель 41,8%.

При этом наблюдается существенный разрыв между результатами на публичном и коммерческом наборах: лучшие модели набирают менее 20% на коммерческом наборе, что подчёркивает сложность работы с корпоративными кодовыми базами.

📝 Почему разрыв между публичным и коммерческим наборами важен
Если модель показывает 40%+ на публичных репозиториях, но падает ниже 20% на коммерческих — это прямое указание на то, что часть «успехов» обусловлена знакомостью с кодом, а не реальными способностями к решению задач. Именно поэтому скрытый и коммерческий наборы SWE-Bench Pro являются наиболее ценным сигналом.

Проблема контаминации никуда не исчезает

Одна из системных проблем всей линейки SWE-бенчмарков — утечка данных (data leakage / contamination): модели, обученные на огромных массивах публичного кода, с высокой вероятностью «видели» задачи из теста ещё на этапе предобучения.

SWE-Bench Pro разрабатывался с учётом этого: создатели признают, что модели, вероятно, сталкивались с оцениваемым кодом в процессе обучения, что затрудняет понимание — решает ли модель задачу или воспроизводит запомненное решение.

Ключевой вывод OpenAI по SWE-bench Verified: frontier-модели могли воспроизводить эталонные патчи и специфические детали условий задач прямо из обучающих данных, поскольку все 500 задач взяты из публичных Python-репозиториев, предшествующих дате среза обучения каждой из моделей.

С SWE-Bench Pro ситуация несколько лучше благодаря наличию скрытого набора и коммерческих репозиториев — но, как показал аудит, проблема контаминации в сочетании с дефектными тестами всё равно искажает итоговую картину.

Что дальше: поиск настоящего сигнала

OpenAI не просто критикует существующие инструменты — компания работает над созданием новых. OpenAI разрабатывает новые, незагрязнённые оценки для более точного отслеживания возможностей в области программирования и считает это важным направлением для всего исследовательского сообщества.

💡 Как правильно читать результаты бенчмарков прямо сейчас
  1. Смотрите на коммерческий набор SWE-Bench Pro — он сложнее и защищён от контаминации.
  2. Сравнивайте динамику, а не абсолютные числа: резкий рост за короткий срок — повод насторожиться.
  3. Изучайте методологию: бенчмарк ценен ровно настолько, насколько надёжны его тесты и процесс проверки.
  4. Не доверяйте одному тесту: сопоставляйте результаты по нескольким независимым бенчмаркам.
  5. Следите за аудитами: независимые проверки (как DeepSWE или аудит OpenAI) часто вскрывают то, что незаметно при поверхностном взгляде.

Заключение

История SWE-бенчмарков — от оригинального SWE-bench до Verified и теперь Pro — наглядно демонстрирует системную проблему индустрии AI: бенчмарки устаревают быстрее, чем модели. Как только стандарт становится широко принятым, он неизбежно превращается в мишень для оптимизации, а не в честное измерение способностей.

Вывод OpenAI об ~30% «сломанных» задач в SWE-Bench Pro — это не приговор конкретному бенчмарку, а симптом более глубокой проблемы: надёжная оценка AI-систем требует постоянного, дорогостоящего и человекоёмкого труда. Автоматизировать этот процесс полностью — не получается.

Точное измерение возможностей моделей критически важно для принятия взвешенных решений о развёртывании и безопасности. Это означает, что гонка за более качественными бенчмарками — не академическое упражнение, а насущная необходимость для всех, кто создаёт, оценивает или применяет AI-системы в реальных задачах.