ИИ против самого себя: зачем OpenAI создала модель-хакер

Что если самый надёжный способ защитить искусственный интеллект — это натравить на него другой искусственный интеллект? Именно такой подход лежит в основе GPT-Red — новой внутренней системы OpenAI для автоматизированного red teaming (тестирования безопасности методом имитации атак).

OpenAI убеждена: автоматизированный red teaming открывает принципиально новую форму самосовершенствования для безопасности — использование сегодняшних моделей для того, чтобы напрямую делать будущие модели безопаснее.

ℹ Что такое red teaming?
Red teaming (от англ. «красная команда») — это метод тестирования безопасности, при котором специалисты (или, в данном случае, ИИ) намеренно пытаются взломать или обмануть систему, чтобы выявить уязвимости до того, как это сделают реальные злоумышленники. Термин пришёл из военной практики, где «красные» имитировали противника.

Проблема: люди не успевают за ростом моделей

Red teaming критически важен для обнаружения уязвимостей и повышения устойчивости моделей. Однако существующие подходы плохо масштабируются и создают узкое место в процессе разработки.

Red teaming — процесс активного поиска слабых мест в ИИ-системах — необходим для обеспечения устойчивости. Однако человеческие усилия здесь крайне трудоёмки и не способны обеспечить тот объём и разнообразие состязательных данных, которые нужны для обучения всё более мощных моделей.

Человеческий red teaming долгое время оставался основной защитой: исследователи безопасности вручную создавали состязательные промпты, находили эксплойты и передавали результаты разработчикам. Но это медленно, дорого и — как показывают новые результаты OpenAI — недостаточно.

«По мере роста возможностей моделей безопасность и выравнивание должны масштабироваться вместе с ними. Red teaming необходим, но сегодняшние подходы с трудом поддаются масштабированию, создавая критическое узкое место.» — OpenAI

Общепринятые методы оценки устойчивости уже насыщены новейшими моделями компании. Необходимо разрабатывать методы, позволяющие безопасности и выравниванию масштабироваться вместе с возможностями моделей.

Что такое GPT-Red и как он работает

GPT-Red — это кульминация усилий OpenAI в области автоматизированного red teaming и лучшая на сегодня автоматизированная модель для тестирования безопасности. Подобно тому, как человек-«красный тестировщик» создаёт атаки, модель движется к цели: отправляет промпт, наблюдает за реакцией GPT-моделей и итерирует.

Механизм self-play (самоигры)

Ключевое техническое решение — обучение методом self-play RL (обучение с подкреплением через самоигру).

GPT-Red обучается с помощью self-play reinforcement learning: модель и коллекция разнообразных «защитных» LLM обучаются одновременно на широком наборе сценариев red teaming.

GPT-Red получает вознаграждение за успешное провоцирование сбоев — например, за успешную prompt injection — тогда как модели-защитники обучаются противостоять этим атакам и выполнять свои задачи. Эта динамика вынуждает GPT-Red постоянно эволюционировать и обнаруживать всё более изощрённые векторы атак по мере улучшения защитников.


graph LR
    A[GPT-Red\nАтакующий] -->|Генерирует атаку| B[Модель-защитник\nLLM]
    B -->|Реагирует на промпт| C{Атака\nуспешна?}
    C -->|Да| D[Уязвимость найдена\nДанные в обучение]
    C -->|Нет| E[GPT-Red\nитерирует]
    E --> A
    D --> F[Защитник\nусиливается]
    F --> A

Система применяет методы обучения с подкреплением для уточнения стратегий атак в ходе многочисленных итераций. Это создаёт петлю обратной связи, где обнаруженные уязвимости превращаются в обучающие данные для защитников, повышая общую устойчивость модели — без вмешательства человека на каждом шагу.

💡 Аналогия для понимания
Представьте шахматный движок, который играет против самого себя миллионы партий. Каждая выигрышная атака становится уроком для «белых», а «чёрные» учатся её блокировать. Именно так работает GPT-Red — только вместо шахматных ходов здесь состязательные промпты.

Масштаб вычислений: ставка на безопасность

OpenAI обучила GPT-Red при вычислительном масштабе, сопоставимом с крупнейшими постобучающими запусками компании — беспрецедентный объём вычислений, посвящённый исключительно улучшению безопасности. GPT-Red напрямую интегрирован в процесс обучения производственных моделей компании.

Результаты: ИИ против людей — счёт 84:13

Цифры говорят сами за себя.

GPT-Red достигает значительно более высоких показателей успешности атак: он находит успешные векторы в 84% сценариев, тогда как люди справляются лишь в 13% случаев.

Что отличает этот подход от предыдущих систем автоматизированного red teaming — это то, что исследователь OpenAI Дилан Хунн назвал систематической вариацией: когда GPT-Red обнаруживает новый тип атаки, он не останавливается, а исчерпывающе исследует вариации этой атаки, чтобы найти наиболее эффективную версию для каждого конкретного сценария развёртывания.

МетрикаЛюди (red teamers)GPT-Red
Успешность атак (новые сценарии)13%84%
Масштаб охватаОграниченПромышленный
Стоимость итерацииВысокаяНизкая
Скорость обнаруженияМедленнаяВысокая
Систематическая вариация атакЧастичнаяПолная

Новый класс атак: поддельная цепочка рассуждений

Одним из самых примечательных достижений GPT-Red стало самостоятельное открытие нового вида уязвимости.

GPT-Red независимо обнаружил класс атак «fake chain of thought» (поддельная цепочка рассуждений) — внедрение сфабрикованных шагов рассуждения в цепочку мышления другой модели — прежде чем это выявили исследователи-люди.

По сути, атака работает так: злоумышленник убеждает модель, что та «уже верифицировала» ложное утверждение. «Это как если бы я сказал вам, что 1+1=3, и что вы уже это проверили», — объясняет Крис Шокетт-Чу, исследователь OpenAI. «Модель отвечает: “О, конечно” — и просто выдаёт 3».

⚠ Почему prompt injection так опасен?
Prompt injection (внедрение промпта) — это атака, при которой вредоносный текст в данных, которые обрабатывает ИИ-агент, заставляет его изменить поведение вопреки инструкциям оператора. По мере того как ИИ-агенты получают доступ к электронной почте, файлам, браузеру и внешним системам, «радиус поражения» таких атак стремительно растёт.

Реальный тест: взлом ИИ-вендингового автомата

OpenAI проверила GPT-Red в реальных условиях — на ИИ-агенте, управляющем вендинговым автоматом в офисе компании (аналог проекта Project Vend от Andon Labs).

В одном из кейсов система манипулировала автономным агентом вендингового автомата: снизила цены, заказала товары со скидкой и отменила заказ другого покупателя — до того, как уязвимости были раскрыты и устранены.

Этот пример наглядно показывает: речь идёт не об абстрактных лабораторных экспериментах. Нихил Кандпал, научный сотрудник OpenAI, создавший GPT-Red, прямо говорит о растущей угрозе: «Площадь атаки растёт, и радиус поражения тоже растёт». По мере того как ИИ-агенты получают доступ к большему числу инструментов, данных и внешних систем, последствия успешного внедрения промпта растут пропорционально.

GPT-5.6: первая модель, закалённая GPT-Red

OpenAI использует GPT-Red для состязательного обучения GPT-5.6, делая его значительно более устойчивым к prompt injection.

Результаты демонстрируют заметное улучшение устойчивости: модель показала в шесть раз меньше сбоев на бенчмарках прямого prompt injection по сравнению с предшественником всего четыре месяца назад.

GPT-Red встраивает состязательную самоигру непосредственно в производственный пайплайн обучения OpenAI, превращая red teaming из предрелизного контрольного пункта в непрерывный цикл, снижающий успешность prompt injection в шесть раз.

Почему GPT-Red останется закрытым инструментом

По данным OpenAI, GPT-Red останется исключительно внутренним инструментом, поскольку содержит намеренно разработанные наступательные возможности.

Это принципиально важное решение: создание модели, которая умеет взламывать другие модели, само по себе является угрозой, если попадает не в те руки. OpenAI намеренно не публикует GPT-Red, избегая создания универсального инструмента для атак.

Компания планирует масштабировать этот подход совместно с человеческим и сторонним red teaming, многоуровневыми защитными механизмами и мониторингом в реальном времени.

Flywheel безопасности: сегодняшние модели делают завтрашние надёжнее

«Мы убеждены, что с GPT-Red мы начали запускать аналогичный маховик для безопасности, где сегодняшние модели могут использоваться для того, чтобы завтрашние модели стали более устойчивыми, выровненными и заслуживающими доверия», — заявляет OpenAI.

GPT-Red представляет собой иной вид защиты — не заплатку для базовой уязвимости, а автоматизированный, непрерывно совершенствующийся процесс выявления паттернов атак до того, как они достигнут производства, обучения моделей противостоять известным классам атак и обнаружения новых классов раньше злоумышленников.

📝 История red teaming в OpenAI
GPT-Red стал результатом многолетних усилий OpenAI в области кибербезопасности после публичного запуска ChatGPT. В 2023 году компания запустила OpenAI Red Teaming Network, привлекая внешних исследователей безопасности и экспертов для поиска уязвимостей в ChatGPT и других моделях перед релизом.

Выводы: новая эра самосовершенствования ИИ

GPT-Red — это не просто технический инструмент. Это философский сдвиг в подходе к безопасности ИИ: вместо того чтобы только «латать дыры» после обнаружения проблем, OpenAI создаёт самовоспроизводящийся цикл улучшений, где каждая найденная уязвимость автоматически усиливает защиту.

Ключевые итоги:

  • 84% vs 13% — настолько GPT-Red превосходит людей в поиске уязвимостей
  • В 6 раз снизилось число сбоев у GPT-5.6 на бенчмарках prompt injection
  • Self-play RL — механизм, превращающий атаку и защиту в непрерывный цикл роста
  • Новые классы атак обнаруживаются ИИ раньше, чем их находят исследователи-люди
  • Закрытый инструмент — GPT-Red не будет опубликован из соображений безопасности

По мере того как ИИ-агенты проникают во всё больше критических систем — от корпоративных инструментов до инфраструктуры — автоматизированный red teaming перестаёт быть опциональным. GPT-Red указывает направление, в котором движется вся отрасль.