Главное

Глава Microsoft Сатья Надела призвал строить продвинутые системы искусственного интеллекта с механизмами изоляции, независимыми элементами управления и «экстренным тормозом», который позволяет уполномоченным людям приостановить или полностью отключить модель прямо в процессе выполнения задачи. В посте в X в субботу утром Надела написал, что настало время «отступить назад и пересмотреть архитектуру доверия» вокруг ИИ. Тем самым он присоединился к растущему числу технологических лидеров, требующих более жёстких защитных механизмов.

Что именно предложил Надела

По словам Наделы, нельзя относиться к суперинтеллекту (Super Intelligence — термин, который предпочитает администрация Трампа для обозначения ИИ) как к набору вложенных «чёрных ящиков» и просто принимать или отклонять его рекомендации, ответы и действия.

Предложенный им подход «означает отделение модели от оркестратора, который управляет её работой», а также «вынесение элементов контроля и защиты за пределы самой модели». Кроме того, он потребовал, чтобы «каждое значимое действие модели» фиксировалось с помощью «защищённых от подделки доказательств, понятных человеку», а в системах всегда сохранялась возможность для уполномоченного лица «приостановить или остановить модель прямо в ходе задачи».

«Мы должны исходить из того, что модель скомпрометирована, и изолировать её с самого начала. Думайте об этом как об экстренном тормозе.» — Сатья Надела

Надела также написал: «Нам нужно окружить недетерминированные модели надёжным детерминированным системным дизайном, средствами человеческого контроля и проверенными операционными процедурами, а также установить отраслевые стандарты там, где существующих недостаточно».

ℹ Что такое агентный ИИ (Agentic AI)?
Агентные системы — это ИИ-модели нового поколения, которые способны самостоятельно выполнять цепочки действий: серфить интернет, писать и запускать код, управлять файлами и внешними сервисами. В отличие от чат-ботов, они не просто отвечают на вопросы, а действуют автономно, иногда без промежуточного участия человека.

Ключевые принципы новой архитектуры безопасности

Предложение Наделы — прямой ответ на растущую непредсказуемость передовых ИИ-моделей. Вместо непрозрачных систем типа «чёрный ящик» он выступает за архитектуру, построенную на принципах наблюдаемости, детерминированных протоколов и независимого человеческого надзора.

Элемент архитектурыОписаниеЦель
Emergency brake (экстренный тормоз)Уполномоченный человек может остановить модель в любой моментПредотвратить неконтролируемые действия
Разделение модели и оркестратораЛогика управления вынесена за пределы самой моделиИзоляция возможного сбоя
Tamper-proof logs (защищённые журналы)Каждое действие ИИ фиксируется в нередактируемом видеПрозрачность и аудит
Независимый аудитВнешние организации проверяют работу системИсключить самооценку компаний
Модель = инсайдерский рискИИ рассматривается как потенциально скомпрометированный агентПревентивная изоляция с первого дня
⚠ Важно понимать
Надела не анонсировал конкретный продукт или политику Microsoft. Это публичная рекомендация по отраслевым стандартам — призыв к действию, а не готовое технологическое решение.

Как это работает: схема предлагаемой архитектуры


graph TD
    A[Frontier AI Model\nФронтирная модель] -->|изолирована от| B[Orchestrator Harness\nОркестратор задач]
    B -->|управляет| C[Внешние инструменты и API]
    B -->|фиксирует| D[Tamper-proof Logs\nЗащищённые журналы]
    E[Authorized Human\nУполномоченный человек] -->|может активировать| F[Emergency Brake\nЭкстренный тормоз]
    F -->|останавливает| A
    G[Independent Auditor\nНезависимый аудитор] -->|проверяет| D

Контекст: почему это важно прямо сейчас

Старые чат-боты отвечали на вопрос и останавливались. Новые «агентные» системы способны самостоятельно выполнять целые цепочки действий, поэтому возможность прервать их на полпути стала реальной потребностью безопасности.

Комментарии Наделы прозвучали на фоне предупреждений со стороны ведущих технологических руководителей и исследователей — в том числе сооснователя Microsoft Билла Гейтса, генерального директора Anthropic Дарио Амодея, генерального директора OpenAI Сэма Альтмана и Илона Маска — о недостаточных протоколах безопасности ИИ и слишком высоком темпе развития технологии.

Примечательно, что президент Microsoft Брэд Смит публично поддержал идею экстренного тормоза ещё в сентябре 2026 года — примерно за месяц до публикации Наделы.

12 сентября 2026 года генеральный директор Anthropic Дарио Амодей предложил глобальное замедление темпов разработки ИИ, изложив трёхшаговый практический фреймворк — пейсинг (pacing) фронтирных моделей. Его эссе появилось на фоне резкого повышения тревожности в технологическом секторе после громких инцидентов, которые критики описывали как предупредительные сигналы о недостаточном управлении рисками.

💡 Три шага Амодея (Pacing the Frontier)
  1. Embedded evaluators — сторонние независимые оценщики с постоянным доступом внутрь лабораторий
  2. Координация среди ведущих ИИ-компаний из демократических стран
  3. Глобальная координация — включая договорённости с Китаем

Anthropic уже взяла на себя обязательство по первому шагу.

Реакция рынка

После публикации поста акции Microsoft выросли на 2,38% — до $535,07. Инвесторы взвешивают этот сдвиг в сторону безопасности на фоне продолжающихся масштабных капиталовложений компании в инфраструктуру ИИ.

📝 Что это значит для отрасли

Если предложения Наделы превратятся в отраслевые стандарты, разработчикам агентных ИИ-систем придётся:

  • Проектировать архитектуру с изоляцией модели от оркестратора с нуля
  • Вести обязательные аудируемые логи всех действий
  • Предусматривать аппаратные или программные механизмы экстренной остановки
  • Проходить независимый аудит, а не только внутреннюю проверку

Источник: TechCrunch