/tags/%D0%BE%D1%86%D0%B5%D0%BD%D0%BA%D0%B0-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9/Recent content in Оценка Моделей on AI-Uchi — Всё об искусственном интеллектеHugoruFri, 10 Jul 2026 12:30:00 +0300/translations/openai-swe-bench-pro-coding-evaluations-audit/Fri, 10 Jul 2026 12:30:00 +0300/translations/openai-swe-bench-pro-coding-evaluations-audit/<h2 id="когда-эталон-перестаёт-быть-эталоном">Когда эталон перестаёт быть эталоном</h2> <p>В мире искусственного интеллекта бенчмарки (benchmark — стандартный тест для оценки производительности) играют роль, схожую с ролью олимпийских нормативов в спорте: они дают общую точку отсчёта, позволяя сравнивать модели между собой. Но что происходит, когда сам эталон оказывается ненадёжным?</p> <p>OpenAI опубликовала новый анализ, посвящённый SWE-Bench Pro — одному из наиболее популярных бенчмарков для оценки способностей AI-агентов решать задачи программирования. Вывод оказался неожиданно резким: детальный аудит выявил системные проблемы в SWE-Bench Pro, и по оценкам OpenAI, около 30% задач в нём содержат ошибки.</p>