Google-Agent игнорирует robots.txt — и это официальная позиция компании, а не баг
Вы заблокировали ChatGPT-User в robots.txt — и он остановился. Вы заблокируете Google-Agent в robots.txt — и он войдет. Потому что Гугл считает его прокси пользователя, а не краулером. Это другая архитектура, и она уже в ваших логах.
20 марта 2026 года Гугл тихо добавил в официальную документацию новую запись: Google-Agent — строку идентификации ИИ-систем, которые просматривают сайты от имени конкретных пользователей в реальном времени. Первый продукт, использующий этот идентификатор, — Project Mariner, экспериментальный браузерный ИИ-агент (закрытый в мае 2026 года, но передавший инфраструктуру Gemini Agent). Различие с Googlebot принципиальное: Googlebot сканирует веб непрерывно для построения индекса, Google-Agent посещает страницы только тогда, когда конкретный человек попросил его об этом.
Robots.txt больше не универсальный инструмент доступа
Самое важное следствие появления Google-Agent: он игнорирует директивы robots.txt. Гугл классифицирует его в одну категорию с Google Read Aloud, NotebookLM и Feedfetcher — «инициированные пользователем сборщики» (user-triggered fetchers). Логика компании:
Если вы вводите адрес страницы в строку браузера — браузер загружает ее независимо от того, что написано в robots.txt. Google-Agent работает по тому же принципу: он является прокси пользователя, а не автономным краулером.
Это принципиальное расхождение с конкурентами: ChatGPT-User и Claude-User функционируют как инициированные пользователем сборщики, но при этом соблюдают директивы robots.txt. Если вы заблокировали ChatGPT-User в robots.txt — ChatGPT не загрузит вашу страницу по запросу пользователя. Google сделал другой выбор.
Практический вывод: для ограничения доступа Google-Agent нужна серверная аутентификация или управление доступом — те же инструменты, которые используются для ограничения доступа живых пользователейческая идентификация: Web Bot Auth
Параллельно Google-Agent экспериментирует с протоколом Web Bot Auth под идентификатором https://agent.bot.goog. Протокол работает как цифровой паспорт: агент хранит закрытый ключ, публикует открытый ключ в общедоступном каталоге и криптографически подписывает каждый HTTP-запрос. Сервер верифицирует подпись и получает доказательство того, что к нему обратился именно Google-Agent, а не имитирующий его скрапер.
Строку идентификации может подделать кто угодно. Криптографическую подпись — нет. Akamai, Cloudflare и Amazon (AgentCore Browser) уже поддерживают протокол. Подключение Гугла создает критическую массу — и сигнализирует, в каком направлении движется управление идентификацией агентов в вебе.
Три уровня посетителей веба в 2026 году
Появление Google-Agent создает принципиально новую модель аудитории для любого сайта:
| Уровень | Кто | Намерение | Доступ |
| Люди | Живые пользователи | Просмотр, покупка, чтение | Полный |
| Краулеры | Googlebot, GPTBot, Google-Extended | Индексация и обучение | Управляется через robots.txt |
| Агенты | Google-Agent, ChatGPT-User, Claude-User | Выполнение задачи от имени пользователя | Гибридный — зависит от платформы |
Краулер хочет проиндексировать контент. Агент хочет выполнить задачу: прочитать карточку товара, сравнить цены, заполнить форму, забронировать время.
Что делать прямо сейчас
Четыре действия для владельцев сайтов:
- Мониторить серверные логи на строку compatible; Google-Agent — понять, какие страницы и как часто посещает агент
- Проверить правила брандмауэра и CDN — убедиться, что диапазоны IP Гугла не блокируются инструментами безопасности до достижения сервера
- Протестировать формы и сценарии — Google-Agent может отправлять формы и проходить многошаговые процессы; формы, завязанные на нестандартных паттернах JavaScript, для агента будут невидимы
- Принять: robots.txt — больше не инструмент полного контроля доступа; для действительно закрытого контента — только аутентификация
Для большинства сайтов Google-Agent — это пока малозаметный гость в логах. Но для сайтов с закрытым контентом, платным доступом или чувствительными формами это уже сегодня требует аудита архитектуры доступа. Интереснее долгосрочный сценарий: если Web Bot Auth станет отраслевым стандартом, у владельцев сайтов появится возможность строить белые и черные списки на уровне конкретных агентов с криптографической надежностью — разрешать Google-Agent, блокировать неизвестный скрапер, пускать Claude-User только на публичные страницы. Сейчас до этого еще далеко, но Гугл, Akamai и Cloudflare уже создают инфраструктуру. Следите за обновлениями документации Web Bot Auth Working Group — это та точка, где изменения в управлении доступом будут происходить первыми.
Материалы по теме
Вставить свои 5 копеек: