MRC: как OpenAI переосмыслила сетевую инфраструктуру суперкомпьютеров

OpenAI объявила о выпуске MRC (Multipath Reliable Connection) — нового сетевого протокола, разработанного за последние два года совместно с AMD, Broadcom, Intel, Microsoft и NVIDIA. Спецификация опубликована через Open Compute Project (OCP), что открывает возможность для всей отрасли использовать и развивать её.

Почему обычная сеть не справляется с ИИ?

Современные ИИ-модели обучаются на кластерах из сотен тысяч GPU, которые постоянно обмениваются данными друг с другом через сеть дата-центра.

Представьте себе многополосное шоссе: если слишком много грузовиков едет по одной полосе — всё замедляется. Если дорога перекрыта — грузовики стоят в пробке, пока не найдут объезд. Именно так работает классическая сеть дата-центра.

При обучении крупных ИИ-моделей один шаг может включать миллионы операций передачи данных. Опоздание даже одной передачи может отразиться на всём процессе — GPU простаивают в ожидании.

Перегрузка сети, отказы каналов и устройств — наиболее частые источники задержек и джиттера. И чем крупнее кластер, тем острее эти проблемы.

Традиционные сети дата-центров передают все данные между двумя точками по единственному, фиксированному маршруту — и именно это становится узким местом при масштабировании.

Что такое MRC и как он работает?

MRC — новый сетевой протокол, встроенный в современные сетевые интерфейсы со скоростью 800 Гбит/с. Он позволяет распределять одну передачу данных сразу по сотням маршрутов, обходить отказы за микросекунды и упрощать управление сетью.

MRC расширяет стандарт RDMA over Converged Ethernet (RoCE) — протокол аппаратного ускорения прямого доступа к памяти между GPU и CPU. Он опирается на технологии Ultra Ethernet Consortium (UEC) и дополняет их маршрутизацией на основе SRv6 (Segment Routing over IPv6) для поддержки крупных сетевых фабрик ИИ.

«MRC позволяет единственному RDMA-соединению распределять трафик сразу по нескольким сетевым путям, улучшая пропускную способность, балансировку нагрузки и доступность для крупных кластеров обучения ИИ.» — NVIDIA Blog

Ключевые механизмы MRC

Packet Spraying (рассеивание пакетов)

MRC распределяет пакеты сразу по сотням маршрутов одновременно, устраняя перегрузку ядра сети и снижая хвостовую задержку при масштабном обучении на GPU.

Обход отказов в реальном времени

Технология обхода отказов MRC способна обнаружить сбой сетевого пути и автоматически перенаправить трафик прямо в аппаратуре — буквально за микросекунды.

Встроенная телеметрия

MRC включает высокочастотную телеметрию — непрерывный детальный мониторинг состояния сети: сигналы о перегрузке, потери пакетов, утилизация маршрутов. Это даёт системе достаточно данных для принятия решений о маршрутизации в реальном времени и обеспечивает администраторам лучшую видимость проблем.

Это важное отличие от традиционного мониторинга сети, который обычно работает с гораздо большими интервалами опроса и не обладает нужной точностью для решений на уровне микросекунд.

Упрощение управления сетью

Способность MRC обходить отказы позволила отказаться от динамической маршрутизации: вместо неё используется SRv6-маршрутизация от источника со статическими маршрутами в коммутаторах. Это принципиально снижает сложность управления инфраструктурой.

Архитектура: как устроена сеть с MRC

graph TD
    A[GPU-узлы / серверы] -->|800 Гбит/с NIC| B[Уровень T1: коммутаторы доступа]
    B --> C[Уровень T2: магистральные коммутаторы]
    C --> D[Другие поды / плоскости сети]
    A -- "Packet Spraying\n(сотни маршрутов)" --> C
    style A fill:#4A90D9,color:#fff
    style B fill:#7B68EE,color:#fff
    style C fill:#7B68EE,color:#fff
    style D fill:#50C878,color:#fff

Вместо того чтобы рассматривать каждый сетевой интерфейс как один канал 800 Гбит/с, MRC разбивает его на несколько меньших каналов. Например, один интерфейс может подключаться сразу к восьми разным коммутаторам.

Каждый коммутатор второго уровня (T2) подключается к 64 различным подам, что позволяет масштабировать кластер до 64 000 сетевых интерфейсов.

Поддерживаемое железо

MRC реализован в сетевых картах (NIC) стандартов 400 и 800 Гбит/с с поддержкой RDMA — включая NVIDIA ConnectX-8, AMD Pollara, AMD Vulcano и Broadcom Thor Ultra. Поддержка SRv6 на уровне коммутаторов реализована для NVIDIA Spectrum-4 и Spectrum-5 (с Cumulus и SONiC), а также Broadcom Tomahawk 5 через Arista EOS.

Уже в продакшене: реальные суперкомпьютеры

MRC — не просто прототип. Он уже развёрнут на всех крупнейших суперкомпьютерах OpenAI на базе NVIDIA GB200, используемых для обучения frontier-моделей, включая объект с Oracle Cloud Infrastructure (OCI) в Абилине (Техас) и суперкомпьютеры Microsoft Fairwater.

Эти суперкомпьютеры использовались для обучения последних frontier-моделей OpenAI. Наблюдения показывают: данная архитектура позволяет крупным заданиям предобучения ИИ переживать сетевые сбои, которые раньше приводили к краху всего задания, причём большинство отказов практически не влияет на время шага.

MRC активно используется в продакшене в нескольких очень крупных кластерах обучения ИИ, где он применялся для обучения frontier больших языковых моделей (LLM) для ChatGPT и Codex.

Вклад участников консорциума

AMD внесла алгоритм управления перегрузкой NSCC, теперь включённый в спецификацию UEC Congestion Control, а также расширения транспортного семантического уровня IB/RDMA, позволяющие MRC интегрироваться с существующими моделями RDMA-программирования, добавляя при этом многопутевые возможности.

Для AMD и отрасли в целом MRC — это больше, чем просто новый сетевой протокол для суперкомпьютеров уровня frontier. Это важный шаг к более открытой, программируемой и устойчивой основе для AI-инфраструктуры.

Стратегическое значение: открытый стандарт против проприетарных решений

MRC использует многоплоскостную сетевую архитектуру и адаптивное рассеивание пакетов для распределения данных по сотням сетевых путей, снижая перегрузку и обеспечивая быстрое восстановление после отказов.

Протокол MRC от OpenAI способен сместить ценность в сетевой инфраструктуре ИИ от дорогостоящих коммутаторов в сторону NIC и программного плана управления. Это означает потенциальную демократизацию технологии: меньше зависимости от проприетарного «умного» железа.

Открытие стандарта соответствует усилиям OpenAI по снижению зависимости от какого-либо единственного партнёра по инфраструктуре при сохранении технических преимуществ, созданных в рамках совместной работы.

Итог: почему MRC важен для всей отрасли

По мере того как заказчики строят всё более крупные ИИ-кластеры в облаке, корпоративных, исследовательских и суверенных ИИ-средах, отрасль нуждается в сетях, которые быстры не только в идеальных условиях, но и последовательны, адаптивны и практичны в реальных развёртываниях.

MRC отвечает именно на этот вызов:

• Надёжность: автоматический обход отказов за микросекунды без вмешательства человека
• Производительность: рассеивание пакетов по сотням маршрутов устраняет «узкие места»
• Простота управления: статические маршруты вместо сложной динамической маршрутизации
• Открытость: спецификация доступна всем через OCP под открытой лицензией
• Зрелость: протокол уже используется для обучения реальных production-моделей

Суперкомпьютерные сети — это невидимый фундамент, на котором стоят GPT-4, o3 и будущие модели ИИ. MRC делает этот фундамент надёжнее и доступнее для всей отрасли.

Сегодня спецификация MRC доступна как вклад в Open Compute Project (OCP) — для использования и развития всем сообществом. Это означает, что любая компания — от стартапа до национального исследовательского центра — сможет построить инфраструктуру обучения ИИ на основе тех же принципов, что лежат в основе суперкомпьютеров OpenAI.