Google-Agent игнорирует robots.txt — и это официальная позиция компании, а не баг

20 марта 2026 года Гугл тихо добавил в официальную документацию новую запись: Google-Agent — строку идентификации ИИ-систем, которые просматривают сайты от имени конкретных пользователей в реальном времени. Первый продукт, использующий этот идентификатор, — Project Mariner, экспериментальный браузерный ИИ-агент (закрытый в мае 2026 года, но передавший инфраструктуру Gemini Agent). Различие с Googlebot принципиальное: Googlebot сканирует веб непрерывно для построения индекса, Google-Agent посещает страницы только тогда, когда конкретный человек попросил его об этом.

Robots.txt больше не универсальный инструмент доступа

Самое важное следствие появления Google-Agent: он игнорирует директивы robots.txt. Гугл классифицирует его в одну категорию с Google Read Aloud, NotebookLM и Feedfetcher — «инициированные пользователем сборщики» (user-triggered fetchers). Логика компании:

Если вы вводите адрес страницы в строку браузера — браузер загружает ее независимо от того, что написано в robots.txt. Google-Agent работает по тому же принципу: он является прокси пользователя, а не автономным краулером.

Это принципиальное расхождение с конкурентами: ChatGPT-User и Claude-User функционируют как инициированные пользователем сборщики, но при этом соблюдают директивы robots.txt. Если вы заблокировали ChatGPT-User в robots.txt — ChatGPT не загрузит вашу страницу по запросу пользователя. Google сделал другой выбор.

Практический вывод: для ограничения доступа Google-Agent нужна серверная аутентификация или управление доступом — те же инструменты, которые используются для ограничения доступа живых пользователейческая идентификация: Web Bot Auth

Параллельно Google-Agent экспериментирует с протоколом Web Bot Auth под идентификатором https://agent.bot.goog. Протокол работает как цифровой паспорт: агент хранит закрытый ключ, публикует открытый ключ в общедоступном каталоге и криптографически подписывает каждый HTTP-запрос. Сервер верифицирует подпись и получает доказательство того, что к нему обратился именно Google-Agent, а не имитирующий его скрапер.

Строку идентификации может подделать кто угодно. Криптографическую подпись — нет. Akamai, Cloudflare и Amazon (AgentCore Browser) уже поддерживают протокол. Подключение Гугла создает критическую массу — и сигнализирует, в каком направлении движется управление идентификацией агентов в вебе.

Три уровня посетителей веба в 2026 году

Появление Google-Agent создает принципиально новую модель аудитории для любого сайта:

Краулер хочет проиндексировать контент. Агент хочет выполнить задачу: прочитать карточку товара, сравнить цены, заполнить форму, забронировать время.

Что делать прямо сейчас

Четыре действия для владельцев сайтов:

• Мониторить серверные логи на строку compatible; Google-Agent — понять, какие страницы и как часто посещает агент
• Проверить правила брандмауэра и CDN — убедиться, что диапазоны IP Гугла не блокируются инструментами безопасности до достижения сервера
• Протестировать формы и сценарии — Google-Agent может отправлять формы и проходить многошаговые процессы; формы, завязанные на нестандартных паттернах JavaScript, для агента будут невидимы
• Принять: robots.txt — больше не инструмент полного контроля доступа; для действительно закрытого контента — только аутентификация