Масштабное исследование логов: как OpenAI пылесосит интернет после релиза GPT-5

Об этом свидетельствуют результаты совместного исследования платформы Botify и консалтингового агентства Nectiv, которые проанализировали более 7 миллиардов записей в серверных логах с ноября 2024 по март 2026 года.

Исторический сдвиг: поиск важнее обучения

Главный вывод исследования — структурное изменение в том, как именно искусственный интеллект взаимодействует с открытым интернетом.

У OpenAI есть два основных автоматических бота:

• GPTBot — сканирует сайты, чтобы собирать данные для долгосрочного обучения будущих моделей.
• OAI-SearchBot — извлекает информацию с сайтов в реальном времени, когда пользователь просит ChatGPT найти что-то в интернете.

До выхода GPT-5 бот для обучения был активнее поискового (на один заход поисковика приходилось 1,05 захода для обучения). После релиза ситуация перевернулась: OAI-SearchBot показал взрывной рост на 350% (+2,2 млрд событий в базе Botify), обогнав GPTBot. Теперь OpenAI официально тратит больше ресурсов на поиск актуальной информации в моменте, чем на фоновое обучение.

Кого сканируют активнее всего

Рост поисковой активности распределился по отраслям неравномерно. Больше всего внимания OAI-SearchBot уделяет:

1. Медицина и здравоохранение: рост активности на 740%
2. СМИ и издательства: рост на 702% (при этом разрыв между поисковым и обучающим ботом здесь самый колоссальный — 256% в пользу поиска)
3. Маркетплейсы, софт и ритейл: рост от 190% до 216%

Меньше всего изменился интерес к туристическим сайтам (рост всего на 30%). При этом в сферах здравоохранения и ритейла OpenAI по-прежнему предпочитает забирать данные для обучения, а не для поиска в реальном времени.

Сравнение с Google

Несмотря на троекратный рост, масштабы OpenAI все еще не сопоставимы с традиционными поисковиками. По данным за последние 30 дней исследования, Googlebot сгенерировал 18,2 миллиарда событий, тогда как все боты OpenAI вместе взятые — лишь 887 миллионов. Таким образом, объем сканирования OpenAI составляет всего около 4% от объемов Google.