Google тестирует «цифровое удостоверение» для ботов — и это важно для SEO, защиты контента и ИИ-краулеров

Протокол находится в активной экспериментальной фазе: новая страница документации для разработчиков уже опубликована.

Проблема, которую решает протокол

Сегодняшняя система идентификации ботов принципиально ненадежна: любой краулер может скопировать user-agent строку легитимного сервиса и выдать себя за него. Именно это позволяет недобросовестным ИИ-компаниям маскировать свои скрейперы под известные боты, а спамерским краулерам — обходить фильтры, имитируя Googlebot или Bingbot.

Web Bot Auth не определяет, «хороший» или «плохой» бот — он решает более скромную, но критически важную задачу: подтвердить, что бот является тем, кем называется. Решение о блокировке остается за владельцем сайта, но теперь оно основано на проверяемом факте, а не на самодекларации.

Как работает протокол: три шага

Новый стандарт заменяет ручной обмен ключами безопасности между сайтами и ботами на трехуровневую архитектуру автоматического обнаружения:

• Стандартизированные файлы ключей: хранятся в формате JSON Web Key Set (JWKS) — единый читаемый формат для всех серверов
• Фиксированный адрес на сайте: ключи всегда размещаются в директории /.well-known/ — предсказуемое местоположение без ручной настройки
• Самоидентифицирующие запросы: в HTTP-запросы добавляется новый заголовок Signature-Agent — своего рода цифровая визитная карточка, указывающая на директорию ключей отправителя

Текущие ограничения экспериментальной фазы

Google прямо предупреждает: протокол пока не покрывает весь трафик. На данный момент подписание реализовано лишь для подмножества агентов, в частности Google-Agent. Компания «еще не подписывает каждый запрос», поэтому отсутствие подписи не означает автоматически, что бот — мошенник.

Рекомендация Google для владельцев сайтов на переходный период:

«Продолжайте использовать IP-адреса, reverse DNS и user-agent строки параллельно с Web Bot Auth, пока мы постепенно внедряем подписанный трафик»

Google также призывает разработчиков уточнить у своих хостинг-провайдеров, планируют ли те поддержку протокола, следить за обновлениями Web Bot Auth Working Group и отправлять обратную связь через официальную форму.