OpenAI поддержит единый сигнал robots.txt для обучения ИИ
OpenAI, Google, Microsoft и Anthropic договорились об едином сигнале в robots.txt, чтобы владельцы сайтов могли запретить использование контента для обучения ИИ.
Проблема, которую давно нужно было решить
Последние три года, чтобы запретить ИИ-компаниям обучаться на содержимом вашего сайта, приходилось вести растущий список названий краулеров в файле robots.txt — по одному на каждого поставщика. Это была утомительная работа: появился новый игрок на рынке — добавь его бота в список, поменял компания название краулера — обновляй снова. Причём никакой гарантии полноты такого списка не было.
Теперь ситуация меняется. 30 октября 2026 года OpenAI объявила, что будет соблюдать единый сигнал в robots.txt — файле, который сайты используют для выражения предпочтений относительно использования контента — чтобы операторы могли передавать единую настройку сразу нескольким участвующим провайдерам ИИ.
https://example.com/robots.txt). Он содержит инструкции для автоматических ботов-краулеров: каким страницам разрешён доступ, а каким — нет. Однако важно понимать: это лишь декларация предпочтений, а не технический барьер.Кто поддержал инициативу
OpenAI выступила не в одиночку. OpenAI, Google, Microsoft и Anthropic 30 октября 2026 года заявили, что будут соблюдать единый токен политики robots.txt — __usage_ai-training — как общий сигнал предпочтений для обучения ИИ.
Сроки внедрения у каждой компании свои:
Anthropic сообщила, что уже начала внедрять поддержку сигнала; OpenAI планирует сделать это в ближайшие месяцы; Microsoft назвала дату — 1 февраля 2027 года; Google говорит о 2027 годе.
| Компания | Срок внедрения | Статус |
|---|---|---|
| Anthropic | Уже внедряется | ✅ Активно |
| OpenAI | В ближайшие месяцы | 🔄 В процессе |
| Microsoft | 1 февраля 2027 | 📅 Запланировано |
| 2027 год | 📅 Запланировано |
Как работает новый сигнал
Сигнал описан в интернет-черновике (Internet-Draft) под названием «Machine-Readable Training Preference Signal» (draft-kelley-aipref-training-preference-signal-00), авторство которого принадлежит Кевину Келли из Anthropic; документ датирован 30 октября 2026 года.
Черновик вводит единый токен политики __usage_ai-training, который размещается в строке User-Agent обычной группы robots.txt.
Директива Disallow выражает предпочтение против использования для обучения ИИ для совпадающих путей, а Allow — предпочтение в пользу. Поскольку механизм переиспользует существующие правила путей robots.txt и приоритет наиболее длинного совпадения, настройки для обучения ИИ можно задавать отдельно для каждой директории, а не только для всего сайта целиком.
Вот как выглядит базовый пример использования нового сигнала:
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Этот код означает: «Запретить использование всего содержимого сайта для обучения ИИ, за исключением страниц в директории /press-kit/».
flowchart TD
A[Владелец сайта] --> B[Редактирует robots.txt]
B --> C[Добавляет токен __usage_ai-training]
C --> D{Директива}
D -->|Disallow: /| E[Запрет обучения ИИ на всём сайте]
D -->|Allow: /раздел/| F[Разрешение для конкретного раздела]
E --> G[OpenAI соблюдает запрет]
E --> H[Google соблюдает запрет]
E --> I[Microsoft соблюдает запрет]
E --> J[Anthropic соблюдает запрет]
Важные оговорки
Изменение инструкций в robots.txt не означает, что материал, собранный ранее, будет удалён из обучающих датасетов или существующих моделей. Иными словами, новый сигнал влияет только на будущие обходы и сбор данных.
OpenAI разделяет краулеры для обучения и поиска. Оператор сайта может запретить доступ GPTBot (краулер для обучения), но разрешить OAI-SearchBot — это сохранит возможность индексации страниц для ChatGPT Search.
Связь со стандартами IETF
Инициатива опирается на текущую работу рабочей группы IETF (Internet Engineering Task Force — Инженерный совет Интернета) по AI Preferences. OpenAI присоединяется к другим участникам этой рабочей группы в объявлении о едином сигнале и считает, что это укрепляет её участие в дискуссиях по стандартам IETF.
«Это добровольная инициатива, которая упрощает для издателей и операторов сайтов возможность одновременно сообщить одни и те же предпочтения сразу нескольким участвующим провайдерам.» — OpenAI
В соответствии с используемым словарём, «обучение ИИ» определяется как использование актива для изменения выученных параметров генеративной ИИ-модели, исключая обучение моделей, применяемых исключительно для негенеративных задач. А «генеративная ИИ-модель» — это модель, которая используется или сделана доступной для генерации синтетического контента в одной или нескольких модальностях.
Что нового это даёт по сравнению с существующими инструментами
Новый сигнал не заменит существующие средства управления через robots.txt, которые OpenAI уже предоставляет. Оба механизма будут работать параллельно.
Ключевое преимущество — простота и унификация:
User-agent: __usage_ai-training с нужными директивами охватывает всех провайдеров, которые поддержали стандарт.Сравнение старого и нового подхода
| Критерий | Старый подход | Новый сигнал |
|---|---|---|
| Количество записей | По одной на каждого провайдера | Одна запись для всех |
| Необходимость следить за новыми ботами | Да, вручную | Нет, если провайдер поддерживает стандарт |
| Гранулярность настроек | По боту | По пути (директории) |
| Юридическая сила | Добровольная | Добровольная |
| Охват | Только конкретные краулеры | Все участники соглашения |
Призыв к отрасли
OpenAI будет продолжать адаптировать свои практики по мере развития дискуссий и общей ситуации с учётом требований надлежащего контроля и справедливости, а также призывает других провайдеров ИИ соблюдать единый сигнал.
Представьте, что вы — владелец русскоязычного новостного портала. Чтобы не допустить использования ваших статей для обучения языковых моделей, достаточно добавить в robots.txt:
User-agent: __usage_ai-training
Disallow: /
И все четыре крупнейших провайдера — OpenAI, Google, Microsoft и Anthropic — учтут ваше решение при следующем обходе сайта.
Итог
Объявление OpenAI, Google, Microsoft и Anthropic о едином сигнале в robots.txt — небольшой, но важный шаг к более цивилизованным отношениям между ИИ-компаниями и создателями контента. Впервые крупнейшие игроки отрасли договорились о единой технической точке входа для выражения предпочтений по обучению ИИ.
Да, механизм добровольный. Да, он не стирает то, что уже было собрано. Но он создаёт понятный, машиночитаемый стандарт — и это уже немало в условиях, когда каждая компания раньше действовала по своим правилам.
Владельцам сайтов стоит уже сейчас изучить свой robots.txt и решить: открыты ли вы для того, чтобы ваш контент использовался для обучения генеративных ИИ-моделей, или нет. Ответ на этот вопрос теперь можно дать всем провайдерам сразу — одной строкой кода.