Как OpenAI пресёк кражу скрытого мышления ИИ

В мире больших языковых моделей идёт невидимая война. Пока пользователи видят лишь финальные ответы нейросетей, внутри этих систем скрыт ценнейший актив — так называемое protected reasoning (защищённое мышление): пошаговый внутренний процесс рассуждений модели, который не отображается в интерфейсе, но именно он делает современные ИИ такими мощными. Недавно OpenAI раскрыла детали масштабной скоординированной атаки, нацеленной именно на этот скрытый слой.

Что такое adversarial distillation?

Adversarial distillation (состязательная дистилляция) — это систематическое и несанкционированное использование выходных данных или мышления одной модели для обучения, воспроизведения или улучшения другой модели.

Проще говоря: вместо того чтобы годами и за миллиарды долларов обучать собственную модель с нуля, злоумышленники «скармливают» мощной закрытой модели тысячи запросов и собирают её ответы — включая внутренние рассуждения — чтобы обучить на них более дешёвую копию.

Protected reasoning — это внутренний журнал модели о процессе решения задачи. Его извлечение может раскрыть информацию, скрытую от финального ответа, и помочь другим воспроизвести возможности модели.

ℹ Что такое reasoning в современных LLM
Современные модели — такие как o3, o4-mini от OpenAI или Claude Opus — перед выдачей ответа «думают»: строят цепочки рассуждений (chain-of-thought). Эти цепочки зашифрованы и не показываются пользователю напрямую. Именно они содержат самую ценную «интеллектуальную собственность» модели.

Хронология атаки: от тихого старта до взрыва активности

OpenAI недавно выявила и пресекла скоординированную кампанию по извлечению защищённого мышления из своих моделей — первая зафиксированная активность относится к первой неделе июля.


timeline
    title Хронология атаки на OpenAI
    1 июля : Первая низкоуровневая активность
    Начало июля : Постепенный рост числа запросов
    24–25 июля : Пик — 16 000 запросов от 4 000+ пользователей
    28 июля : Кампания полностью заблокирована
    Август : Независимые исследователи сообщают о схожей уязвимости

Активность началась 1 июля при низком объёме. Пик пришёлся на 24 и 25 июля: 16 000 запросов от более чем 4 000 пользователей. Затем OpenAI обнаружила связанную активность ещё среди более чем 15 000 пользователей. К 28 июля кампания была полностью остановлена.

Как именно работала атака?

Злоумышленники не взламывали серверы и не похищали базы данных. Их метод был куда более изощрённым.

Операторы не взламывали шифрование, не компрометировали базы данных и не получали прямого доступа к сохранённым разговорам пользователей. Вместо этого они манипулировали взаимодействием с моделью так, чтобы защищённое мышление воспроизводилось в формах, видимых запрашивающему, — в скоординированном и масштабированном виде, что нарушало условия использования сервиса.

Техника «переноса зашифрованного токена»

Атакующие копировали зашифрованные данные рассуждений из одного разговора, а затем просили модель в отдельном разговоре расшифровать содержимое и транскрибировать его в открытый текст.

По сути, схема выглядела так:

1. Задать сложный вопрос модели A → получить ответ + зашифрованный блок reasoning
2. Скопировать зашифрованный блок
3. В новом диалоге передать блок слабой/дешёвой модели B
4. Попросить модель B расшифровать и воспроизвести содержимое
5. Получить внутренние рассуждения мощной модели A в открытом виде
6. Использовать эти данные как обучающую выборку для собственной модели

Компания назвала метод атакующих «новаторским» (novel). Примечательно, что независимые исследователи в области безопасности также сообщили об аналогичных уязвимостях, связанных с межмодельной совместимостью и компактизацией разговоров, через процедуру ответственного раскрытия.

⚠ Не только проблема OpenAI
Этот тип манипуляций — не уязвимость, уникальная для моделей OpenAI. Компания поделилась информацией о нём с партнёрами по отрасли через Frontier Model Forum, чтобы укрепить коллективную защиту против состязательной дистилляции.

Кто стоит за атакой: след Moonshot AI

OpenAI заявила, что неясно, связана ли вся активность с одним участником, однако лица, действующие в интересах Moonshot AI — китайской компании, разрабатывающей ИИ и ранее обвинявшейся в дистилляции американских моделей, — стояли за «основным кластером» активности.

OpenAI связывает основной кластер активности с лицами, аффилированными с Moonshot AI — разработчиком модели Kimi.

Важная оговорка: публикация OpenAI не содержит технических доказательств и обоснования приводимой атрибуции. Moonshot AI официально не подтвердила причастность.

Это не первый подобный случай. Подробные публичные отчёты Anthropic, Google и OpenAI подтверждают кампании по состязательной дистилляции и с высокой степенью уверенности приписывают их конкретным китайским структурам.

Почему это опасно

Извлечение защищённого мышления создаёт риски для безопасности и национальной безопасности, поскольку позволяет создавать производные модели, лишённые защитных механизмов исходной системы, и может ускорить передачу возможностей двойного назначения.

По сути, речь идёт о трёх уровнях угрозы:

Уровень угрозыОписаниеПоследствия
КоммерческийКража интеллектуальной собственностиКонкурент получает возможности без инвестиций
БезопасностьПроизводные модели без safeguards (защитных ограничений)Распространение вредоносных capabilities
Национальная безопасностьПередача dual-use (двойного назначения) возможностейГеополитические риски

Эта уязвимость позволяет обходить антидистилляционные механизмы, давая злоумышленникам возможность извлекать мышление проприетарной модели.

Как OpenAI ответила на атаку

В ответ OpenAI развернула многоуровневую стратегию противодействия, охватывающую технические меры, блокировку аккаунтов и отраслевую координацию.

Технические меры

Технические обновления теперь обеспечивают более строгую защиту скрытого мышления на уровне аккаунтов пользователей, рабочих пространств и семейств моделей, одновременно устраняя уязвимости, допускавшие воспроизведение и восстановление зашифрованного reasoning.

Компания добавила механизмы обнаружения для приостановки потоковых выходных данных, которые могут раскрывать конфиденциальные данные, и усилила инфраструктурные средства контроля и процедуры регистрации аккаунтов.

Административные меры

OpenAI заблокировала аккаунты, ужесточила контроль при регистрации и на уровне инфраструктуры, закрыла уязвимость воспроизведения зашифрованного reasoning, а также поделилась результатами расследования через Frontier Model Forum и правительственные каналы, чтобы помочь отрасли в целом защититься от состязательной дистилляции.

💡 Три уровня защиты от дистилляции

Ведущие американские компании — разработчики frontier-моделей — выстраивают три слоя защиты от дистилляционных атак:

  1. Классификаторы для обнаружения состязательного извлечения данных, позволяющие модели отклонять подозрительные запросы;
  2. Скрытие или сжатие цепочки рассуждений на уровне архитектуры перед выводом;
  3. Внешние детекторы для выявления извлечения данных с последующим прерыванием запроса или блокировкой аккаунта.

Отраслевая координация

OpenAI, Anthropic и Google обмениваются данными об атаках через Frontier Model Forum — впервые это объединение используется в оперативных целях с момента своего основания в 2023 году.

Координация через Frontier Model Forum — это, по сути, признание со стороны компаний, что договорное право и индивидуальное ограничение запросов не могут остановить скоординированную кампанию по извлечению данных. Только коллективный обмен разведывательными данными способен решить эту проблему.

Прозрачность и уроки для отрасли

До публикации OpenAI изучила масштаб и потенциальное воздействие атаки, развернула собственные средства защиты и провела консультации с исследователями и партнёрами по отрасли, чтобы убедиться в наличии защиты от подобных атак. Расследование и работа по устранению последствий продолжаются. Компания считает, что публикация результатов поможет укрепить защиту более широкой экосистемы.

📝 Аналогия для понимания
Представьте, что вы купили доступ к услугам топового шеф-повара. Вы не воруете его рецепты из сейфа — вместо этого вы записываете каждое его движение, интонацию и комментарий во время готовки, а потом обучаете дешёвого стажёра точно так же двигаться и говорить. Это и есть adversarial distillation: кража не результата, а самого процесса мышления.

Что это означает для индустрии

Инцидент с Moonshot AI — не изолированный случай, а симптом более широкой гонки вооружений в сфере ИИ. Цель злоумышленников — извлечь возможности американских моделей, чтобы воспроизвести их без каких-либо затрат.

Для разработчиков и операторов ИИ-систем это означает:

  • Защита reasoning — новый приоритет в архитектуре безопасности
  • Мониторинг паттернов запросов становится обязательным для выявления аномальной активности
  • Условия использования (Terms of Service) должны явно запрещать дистилляцию
  • Отраслевое сотрудничество — единственный эффективный ответ на скоординированные угрозы

Гонка за возможностями ИИ всё больше напоминает не академическое соревнование, а операцию экономического шпионажа — только вместо чертежей похищают нейронные веса и цепочки рассуждений.

OpenAI, раскрыв детали атаки публично, сделала важный шаг: теперь вся отрасль знает о существовании этого вектора угрозы и может выстраивать защиту заблаговременно. Насколько эффективной окажется коллективная оборона через Frontier Model Forum — покажет время.