Что случилось с TheNumbers.com: как AI-боты убили лучшую базу кино-данных

Представьте: вы исследователь, журналист или просто киноман. Вы открываете привычную вкладку браузера с адресом the-numbers.com — и вместо привычного архива с данными о 78 000 фильмов видите… пустоту. Сайт, которому доверяли Guinness World Records, академики, кинокритики и предиктивные рынки, просто исчез. Именно это произошло 5 марта 2026 года, и эта история должна волновать всех, кто пользуется открытыми данными в интернете.

TheNumbers.com: кто это и почему это важно

TheNumbers.com — это не просто очередной сайт о кино. Это результат трёх десятилетий кропотливой ручной работы одного человека — Брюса Нэша (Bruce Nash). Всё началось с Access-базы данных, нескольких HTML-страниц на Geocities и объявления на форуме Hollywood Stock Exchange.

База данных сайта содержит данные, собранные вручную, — кассовые сборы, бюджеты, домашнее видео и стриминг для более чем 78 000 фильмов и 236 000 человек. Сайт посещали более восьми миллионов человек в год, и он считался главным авторитетным источником для журналистов, учёных, кинематографистов, предиктивных рынков и даже Книги рекордов Гиннесса.

Для индустрии TheNumbers.com был тем же, чем Bloomberg — для финансистов: источником первичной истины, на который опираются все остальные. Именно этот «статус GOAT», как выразился аналитик Стивен Фоллоуз, и стал причиной катастрофы.

ℹ Что такое TheNumbers.com?
TheNumbers.com — независимая база данных кассовых сборов, основанная Брюсом Нэшем в конце 1990-х. На начало 2026 года в ней было 78 396 фильмов, 178 375 записей о театральных релизах и данные о 236 176 людях кино-индустрии.

5 марта 2026: день, когда сайт исчез

5 марта 2026 года сайт TheNumbers.com просто исчез. Он был недоступен более недели — без каких-либо объяснений.

Спустя неделю сайт вернулся, но в значительно урезанном виде. Исторические чарты, страницы отдельных фильмов и популярный инструмент Report Builder — всё это пропало.

Отделавшись лишь размытым сообщением «мы перестраиваемся, потерпите», сайт вызвал в интернете волну замешательства, гнева и конспирологических теорий.

Но что именно произошло? Не хакерская атака, не финансовые трудности и не смерть создателя. Виновник — нашествие AI-ботов, которое вышло из-под контроля.

Два волны AI-нашествия: от краулеров до агентов

История разрушения TheNumbers.com разворачивалась в два отчётливых этапа.

Первая волна: AI-краулеры для обучения моделей (2024)

Первая началась примерно в 2024 году: резкий рост числа обходов сайта, к которым добавились AI-краулеры для обучения моделей. Они, как правило, ведут себя менее дисциплинированно, чем поисковые системы, что увеличило нагрузку на администрирование сайта.

До эпохи AI всё было иначе. По словам Брюса: до появления AI они получали человеческий трафик, в основном хорошо воспитанные краулеры поисковиков и нескольких людей, которые обходили сайт для личных проектов. Если кто-то был слишком жаден, его можно было заметить и заблокировать.

Вторая волна: агентный AI (декабрь 2025)

Вторая волна оказалась сильнее и разрушительнее: примерно в декабре 2025 года случился ещё один резкий скачок трафика, который Брюс приписывает агентному AI — сочетанию AI-агентов, которые скрейпят сайты в ответ на промпты, и людей, способных писать таких агентов.

К началу 2026 года TheNumbers, как и любой богатый данными сайт, подвергался массированным атакам AI-ботов, которые промышленными темпами снова и снова скрейпили его страницы. По словам Брюса, лишь 10% трафика приходилось на людей, а остальное — на AI-ботов и автоматический трафик.


timeline
    title Хронология деградации TheNumbers.com
    1997 : Сайт основан Брюсом Нэшем на Geocities
    2000-2023 : Стабильный рост, человеческий трафик и воспитанные краулеры
    2024 : Первая волна — AI-краулеры для обучения LLM
    Дек 2025 : Вторая волна — агентные AI-скрейперы
    5 мар 2026 : Сайт уходит в офлайн без объяснений
    ~2026 : Возвращение в урезанном виде, перестройка

Почему AI-боты так опасны для открытых данных

Проблема не только в количестве запросов. AI-боты ведут себя качественно иначе, чем люди или даже традиционные краулеры.

Несмотря на то что ссылка «скачать все данные» была prominently размещена на главной странице, AI-скрейперы решили, что эффективнее будет скачивать терабайты сырого HTML, пагинируя каждую возможную грань поискового эндпоинта.

Даже при кэшировании через CloudFront и достаточно эффективном бэкенде, месячный счёт только за сетевой трафик составил около 1000 долларов — и владелец был вынужден закрыть сайт в следующем месяце.

Мы перешли от мира, где запуск сайта означал фокус на трёх вещах (контент, реклама и SEO), к примерно восьми-десяти факторам, которые влияют на каждое дизайнерское решение. — Брюс Нэш, основатель TheNumbers.com

Это принципиальный сдвиг. Самое значительное изменение 2026 года — переход от скриптового скрейпинга к агентному. Традиционные скрейперы следовали жёстким инструкциям: посетить этот URL, извлечь этот CSS-селектор, перейти на следующую страницу. Агентные AI действуют иначе — они наблюдают, рассуждают и адаптируются. Для владельцев сайтов это кошмар: старые методы блокировки больше не работают.

Тип трафикаДо 20242026
Люди~85%~10%
Поисковые краулеры~15%небольшая доля
AI-боты для обучения0%значительная доля
Агентные AI-скрейперы0%основная часть
Предиктивные рынкинезначительнозаметно
⚠ Красный флаг для всех владельцев сайтов
Если ваш сайт содержит структурированные ценные данные, вы, вероятно, уже стали целью AI-краулеров. По данным исследований 2026 года, крупные датасеты-сайты получают от 80 до 90% трафика от автоматизированных агентов — не от людей.

Как TheNumbers пытался защититься — и что из этого вышло

Команда Брюса не сидела сложа руки. Это создавало огромную нагрузку на сайт, но Брюс и его команда предприняли меры для смягчения наихудших последствий.

Одним из самых нестандартных решений стало «говорить с роботами на их языке». На сайте появился контент, специально предназначенный для чтения LLM — чтобы модель могла сказать пользователю «вот как лицензировать данные», а не «вот как скрейпить сайт». Это дало огромный эффект.

Тем не менее ущерб уже был нанесён. Сейчас команде приходится переосмыслять само понятие публичного сайта в 2026 году. По анализу Брюса, раньше TheNumbers обслуживал две аудитории (людей и поисковики), а теперь — примерно шесть: людей, поисковики, тренировочные запуски LLM, prompt-генерируемый AI-трафик, агентный AI и участников предиктивных рынков. У каждой — свои потребности и профиль трафика.

Цель, по словам Брюса, — поддержать все шесть аудиторий с новыми сервисами OpusData и онлайн-функциями для бизнес-подписчиков, а также помочь обычным пользователям снова получить данные, которые сайт всегда предоставлял — частично в новом и улучшенном виде.

💡 Урок для разработчиков и владельцев данных
Размещайте на своём сайте страницы, специально адресованные AI-агентам: объясните, как легально получить данные через API или лицензирование. Это реально снижает агрессивный скрейпинг — как показал опыт TheNumbers.com.

Почему это должно волновать нас всех

История TheNumbers.com — это не просто проблема одного нишевого сайта о кино. Это симптом системного кризиса открытого веба.

Подумайте: если даже сайт с восемью миллионами посетителей в год, работающий почти три десятилетия, не смог выдержать давление агентного AI — что произойдёт с тысячами небольших независимых ресурсов, которые создают и поддерживают энтузиасты?

Парадокс ценных данных: чем качественнее и уникальнее ваши данные, тем сильнее на вас давят AI-боты. TheNumbers страдал именно потому, что был лучшим. Это токсичный стимул, который подрывает сам фундамент открытого интернета.

Трагедия общественного блага: Брюс Нэш десятилетиями создавал общественное благо — бесплатную, точную, исчерпывающую базу данных. AI-компании использовали её для обучения коммерческих продуктов, не платя ни цента и не спрашивая разрешения. Инфраструктурные расходы легли на одного человека.

Распад экосистемы: когда небольшие независимые источники данных исчезают — как это почти случилось с TheNumbers — информационная экосистема консолидируется вокруг нескольких крупных платформ. Это снижает разнообразие данных и делает всех зависимыми от монополий.

📝 Другие пострадавшие
TheNumbers — не первый и не последний. Сотни небольших специализированных баз данных (музыкальные архивы, научные каталоги, исторические реестры) уже закрылись или перешли за paywall из-за аналогичного давления AI-краулеров. Это тихая эпидемия, о которой мало говорят.

Заключение: новые правила игры для открытого веба

Катастрофа TheNumbers.com обнажила фундаментальное противоречие эпохи агентного AI: технологии, созданные для того, чтобы сделать информацию более доступной, уничтожают инфраструктуру, которая эту информацию производит.

Владелец сайта Брюс Нэш не сдался — он перестраивает TheNumbers с учётом новой реальности, где аудитория сайта это уже не два, а шесть принципиально разных типов «читателей». Но большинство независимых создателей данных не имеют ни ресурсов, ни времени на такую перестройку.

Что нужно сделать прямо сейчас?

  1. AI-компаниям — платить за данные, которые они используют для обучения, или как минимум уважать robots.txt и лимиты запросов.
  2. Регуляторам — разработать стандарты для AI-краулеров, аналогичные требованиям к поисковикам.
  3. Владельцам сайтов — активно создавать «AI-friendly» страницы с описанием условий лицензирования, прежде чем боты сделают их решение за них.
  4. Пользователям — поддерживать финансово тех создателей данных, которыми вы пользуетесь. Подпишитесь, задонатьте, распространите информацию.

История TheNumbers — это предупреждение. Открытый веб, каким мы его знали, меняется быстрее, чем успевают адаптироваться те, кто его создаёт. И если мы не найдём новый общественный договор между AI-системами и создателями данных — следующей жертвой может стать что-то куда более важное, чем база кассовых сборов.