Бенчмаркинг как «спорная наука»

AI-лаборатории поставили свою репутацию на бенчмаркинг (benchmarking) — систему оценок, призванную нейтрально и точно измерять, какой из AI-продуктов лучше. Но на конференции TechCrunch Disrupt 2026 Ирен Солейман (Irene Solaiman), директор по политике Hugging Face, заявила, что методы оценок по-прежнему сложны и незрелы, а для того чтобы отрасль могла на них опираться, тестирование должно стать более последовательной наукой.

⚠ Ключевая проблема
Воспроизводимость результатов бенчмаркинга остаётся одним из наиболее острых вопросов в индустрии — без неё доверие к оценкам невозможно.

Воспроизводимость и доступ к весам модели

По словам Солейман, доверие к результатам оценок напрямую зависит от того, могут ли другие исследователи их воспроизвести, и от того, насколько они имеют доступ к самой модели — именно здесь открытые веса (open weights) играют ключевую роль.

Воспроизводимость оценок модели давно остаётся одним из наиболее острых аспектов бенчмаркинга и по-прежнему является предметом серьёзных дискуссий в отрасли.

«Это развивающаяся наука — мы не знаем, как осмысленно сравнивать оценки друг с другом» — Ирен Солейман, Hugging Face

Кроме того, оценки «устаревают» относительно быстро, а экосистема вокруг них пока недостаточно развита. Существует запрос на экосистему встроенных оценщиков (embedded evaluators), однако квалификационные требования к тому, кто и по каким задачам является эффективным оценщиком, нуждаются в стандартизации.

Что такое embedded evaluators и почему они под вопросом

Идея встроенных оценщиков (embedded evaluators) — «нейтральных» сторонних наблюдателей, размещаемых внутри AI-организаций — приобрела популярность в последние месяцы на фоне участившихся инцидентов с безопасностью, вызвавших опасения относительно возможного вреда от технологий.

Вместо активного государственного регулирования для выявления и снижения рисков безопасности моделей, лаборатории продвигают решение в виде третьих сторон. Однако остаются сомнения в том, насколько нейтральными и эффективными окажутся такие оценщики на практике.

ℹ Прецедент: Anthropic и Accenture
Планы Dario Amodei по размещению сторонних оценщиков безопасности внутри AI-лабораторий начали воплощаться: Anthropic объявил, что сотрудники технологического консалтингового гиганта Accenture начнут работать внутри компании для проверки её моделей. Это решение вызвало волну критики: скептики высмеивали идею о том, что консалтинговая фирма квалифицирована для выполнения подобной задачи.

Критики уже задаются вопросом: способен ли коммерческий консалтинговый партнёр функционировать как подлинный независимый надзорный орган?

Агентные оценки: ещё сложнее и дороже

Оценки сейчас выходят за рамки тестирования одной модели и охватывают всю систему вокруг неё — включая harness (инструмент доступа) и агента. Производительность зависит от всей системы — особенно от harness — а значит, более слабая модель с лучшим инструментарием может обойти frontier-модель.

💡 Что такое harness?
Harness — инструмент или оболочка, через которую пользователь получает доступ к модели. Качество harness напрямую влияет на итоговую производительность системы, порой важнее самой модели.

Солейман особо подчеркнула проблему агентных оценок:

«Агентные оценки (agentic evals) — это очень сложно и очень дорого. У нас есть оценки для моделей, но значительно меньше оценок для harness, и мы только разрабатываем оценки для целостного агента» — Ирен Солейман

Как устроена нынешняя экосистема оценок


graph TD
    A[Модель / Model] -->|тест модели| B[Бенчмаркинг]
    C[Harness / Инструмент доступа] -->|влияет на результат| B
    D[Агент / Agent] -->|агентные оценки| B
    B --> E{Проблемы}
    E --> F[Невоспроизводимость]
    E --> G[Несравнимость тестов]
    E --> H[Быстрое устаревание]
    E --> I[Нет стандартов для оценщиков]

Сравнение подходов к оценке безопасности AI

ПодходПреимуществаНедостатки
Государственное регулированиеНезависимость, юридическая силаМедленно, может тормозить инновации
Embedded evaluatorsГлубокий доступ к системеВопросы нейтральности, нет стандартов
Open weights + сообществоВоспроизводимость, прозрачностьНе охватывает закрытые модели
Собственный red-teaming лабораторииБыстро, знание системы изнутриКонфликт интересов

Что нужно изменить

Разные тесты сложно сравнивать между собой, а оценки теряют полезность относительно быстро. Отрасль нуждается в более активной экосистеме и чётких стандартах для определения того, кто и по каким задачам может эффективно выступать оценщиком.

По существу, пространство оценок сегодня напоминает «дикий запад»: если бенчмаркинг должен оставаться полезным инструментом для лидеров индустрии, необходим более единообразный, общеотраслевой подход — когда все участники работают по единым правилам.

📝 Параллельный процесс
Пока дискуссия продолжается, Anthropic уже предоставил команде из шести сотрудников некоммерческой организации METR доступ, сопоставимый с доступом собственных сотрудников компании, для независимой оценки рисков frontier-моделей. Это первый шаг к более формализованной системе — но один прецедент ещё не делает стандарт.