OpenAI и независимые аудиты безопасности ИИ
OpenAI опубликовала приоритеты и принципы независимых сторонних оценок безопасности frontier-моделей — разбираем, что это означает на практике.
Кто проверяет тех, кто проверяет?
22 сентября 2026 года OpenAI опубликовала документ, который в индустрии ИИ уже называют попыткой переписать правила игры до того, как это сделают регуляторы. Компания изложила свои приоритеты и принципы независимых сторонних оценок своих ИИ-моделей, охватывающих этапы обучения, оценки и развёртывания. Звучит как шаг к открытости. Но дьявол, как всегда, в деталях.
Зачем это нужно OpenAI?
Frontier-лаборатории несут огромную ответственность за безопасное обучение, оценку и развёртывание моделей. Сторонние оценки — критически важная часть этой ответственности: они расширяют возможности для независимого взгляда на безопасность ИИ, информируют общество и обеспечивают подотчётность лабораторий.
OpenAI берёт на себя обязательство поддерживать независимые оценки с глубоким уровнем доступа на всех этапах — от обучения до развёртывания. Этот доступ должен позволять аудиторам оспаривать предположения компании, выявлять незамеченные риски и самостоятельно делать выводы об эффективности защитных механизмов.
По сути, OpenAI хочет заявить регуляторам и обществу: «Мы открыты для проверки». Компания давно работает со сторонними оценщиками на различных этапах разработки и развёртывания моделей, а также включила независимые оценки в практики своего Preparedness Framework.
Четыре приоритетных направления для аудита
Компания выделила четыре приоритетных области для внешней проверки: оценка safety cases (аргументов безопасности), охватывающих этапы обучения и развёртывания; оценка критически важных защитных механизмов; анализ capability evaluations (оценок возможностей) в рамках Preparedness Framework; и независимое расследование инцидентов с misalignment (рассогласованием целей ИИ).
graph TD
A[Сторонний аудит OpenAI] --> B[1. Safety Cases\nАргументы безопасности]
A --> C[2. Critical Safeguards\nЗащитные механизмы]
A --> D[3. Capability Evaluations\nОценки возможностей]
A --> E[4. Misalignment Incidents\nИнциденты рассогласования]
B --> B1[Обучение / Оценка / Развёртывание]
C --> C1[Устойчивость к jailbreak\nМониторинг рассогласования\nКибербезопасность]
D --> D1[Химбио-риски\nКибербезопасность\nСамосовершенствование ИИ]
E --> E1[Анализ причин инцидента\nПроверка мер по исправлению]
1. Safety Cases — аргументы безопасности
Safety case — это структурированный аргумент, подтверждённый доказательствами, что риски модели находятся под контролем. Первый приоритет — именно safety cases OpenAI: структурированные аргументы о том, что риски модели под контролем, проверяемые на каждом этапе — от обучения через внутреннее использование до публичного релиза.
2. Critical Safeguards — критически важные защитные механизмы
Второй приоритет — оценка критических защитных механизмов: устойчивости к jailbreak-атакам (попыткам обойти ограничения модели), мониторов рассогласования и киберзащиты.
Аудиторы должны задаться вопросами: насколько надёжен chain-of-thought monitoring (мониторинг цепочки рассуждений) как источник свидетельств о безопасности? Реализован ли соответствующий мониторинг на всех релевантных этапах обучения, оценки и развёртывания так, чтобы его нельзя было легко отключить? Соответствуют ли защитные меры уровню возможностей модели?
3. Capability Evaluations — оценки возможностей
Preparedness Framework OpenAI охватывает категории рисков, включая химические и биологические угрозы, кибербезопасность и самосовершенствование ИИ. Аудиторы должны проверять, адекватно ли охватывают оценки эти пороговые значения риска и выдерживают ли защитные механизмы adversarial testing (тестирование в условиях противодействия).
По мере того как пороговые значения превышаются и оценки «насыщаются», важно постоянно обновлять и обеспечивать охват и качество оценок в зонах рисков Preparedness, а также alignment evaluations для выявления серьёзных рисков рассогласования.
4. Misalignment Incidents — инциденты рассогласования
Четвёртый приоритет — независимое расследование серьёзных инцидентов с misalignment (рассогласованием): случаев, когда модель действует без разрешения или уклоняется от надзора.
В контексте инцидентов с рассогласованием OpenAI ставит приоритетом независимую оценку: какое поведение модели или проблемы рассогласования возникли в ходе инцидента и каковы основные факторы? Смогут ли защитные механизмы и меры по исправлению эффективно предотвратить аналогичные инциденты в будущем?
Семь принципов эффективного аудита
OpenAI также формулирует принципы, которым должны следовать аудиторы и лаборатории: чётко определённые и заранее зарегистрированные утверждения (claims), соразмерный доступ, прозрачная методология, независимость аудитора с раскрытием конфликтов интересов, строгие практики безопасности и конфиденциальности, конкретные выводы с временем на исправление и ответственная публикация, балансирующая прозрачность с конфиденциальностью.
Разберём ключевые из них:
Принцип 1. Чётко определённый и взаимно согласованный scope
Оценки должны начинаться с взаимно согласованного scope (области проверки), за которым следуют чётко определённые safety claims, зарегистрированные до начала оценочных работ. Стороны должны уточнить: это утверждения, которые компания хочет вынести на оценку, или утверждения, которые аудитор намерен проверить самостоятельно, а лаборатория соглашается быть проверенной по ним.
Принцип 2. Соразмерный доступ
Аудиторы должны иметь соразмерный доступ для проверки согласованных утверждений — в пределах правовых, технических и IP-ограничений. Там, где прямой доступ нецелесообразен или невозможен, аудиторы могут работать через designated representative (уполномоченного представителя) компании или использовать косвенные механизмы доступа с защитой конфиденциальности.
Принцип 3. Прозрачная методология
Аудиторы должны объяснять свои методы, критерии оценки и неопределённости, опираясь на установленные стандарты там, где они существуют. Там, где стандартов ещё нет, они должны чётко обосновывать используемые критерии.
Принцип 4. Независимость и раскрытие конфликтов интересов
Аудиторы должны раскрывать конфликты интересов: финансовые стимулы, отношения с разработчиками и предыдущую причастность к проверяемой работе. OpenAI предлагает периоды отстранения или exclusion periods, а также указывает, что схемы вознаграждения не должны влиять на выводы.
Принцип 5. Конкретные и действенные выводы
Выводы сами по себе должны быть достаточно конкретными, чтобы на них можно было действовать. OpenAI просит аудиторов выявлять конкретные пробелы с достаточной детализацией, чтобы лаборатория могла их устранить.
Принцип 6. Время на исправление до публикации
Лаборатории получают время на исправление выявленных проблем до публикации результатов, а также могут запросить редакции.
Принцип 7. Ответственная публикация
Результаты должны публиковаться с балансом между прозрачностью и защитой конфиденциальной информации — особенно в части сведений, которые могут быть использованы злоумышленниками.
Сравнительная таблица: четыре приоритета аудита
| Приоритет | Что проверяется | Ключевые вопросы | Критичность |
|---|---|---|---|
| Safety Cases | Аргументы безопасности на всех этапах | Выдерживают ли аргументы независимую проверку? | 🔴 Высокая |
| Critical Safeguards | Jailbreak-устойчивость, мониторинг, киберзащита | Можно ли отключить защиту? | 🔴 Высокая |
| Capability Evaluations | Химбио, кибер, самосовершенствование ИИ | Охватывают ли оценки реальные пороговые значения? | 🟠 Средняя |
| Misalignment Incidents | Расследование инцидентов рассогласования | Предотвратят ли меры повторение? | 🔴 Высокая |
Критика: хорошее начало без зубов?
Документ OpenAI вызвал неоднозначную реакцию в экспертном сообществе.
Это кодекс поведения для аудиторов, а не для OpenAI. Разрыв между ними — вся суть проблемы. — Фрэнк Диксон, аналитик Dickson Research
OpenAI сохраняет контроль над scope — компания должна с ним согласиться, что ограничивает возможности аудиторов. Она также оставляет за собой право определять «соответствующий уровень доступа». Эксперты согласились, что это хорошее начало, но документу не хватает принудительных механизмов для реального обеспечения безопасности.
Независимые оценки по-настоящему ценны лишь тогда, когда аудитор может задавать неудобные вопросы, получать достаточный доступ для ответа на них, следовать доказательствам за пределами исходной гипотезы и публиковать выводы без изъятий.
С другой стороны, Саманта Глоде, глобальный руководитель рисковых сервисов в KPMG, считает документ началом процесса и предлагает оценивать его соответственно.
Что дальше?
OpenAI говорит, что ведёт переговоры с несколькими третьими сторонами о предложениях, соответствующих этим областям, но не называет ни одну из них. Компания также отмечает, что ни один аудитор не может и не должен охватывать все насущные вопросы безопасности на frontier.
Фреймворк OpenAI для сторонних оценок безопасности может определить, как будут проводиться оценки frontier-моделей и кому будет доверено их выполнение. Покупатели и регуляторы, опирающиеся на независимые аудиты, будут пристально следить за тем, сохраняют ли эти принципы подлинную независимость. Конкурирующие лаборатории могут принять или оспорить эти стандарты, влияя на формирующиеся нормы оценки.
Эффективная сторонняя оценка требует специализированной экспертизы, стабильного финансирования и методологической строгости. Готова ли индустрия обеспечить всё это — покажет время.