Новости
Google-Agent игнорирует robots.txt — и это официальная позиция компании, а не баг
Вы заблокировали ChatGPT-User в robots.txt — и он остановился. Вы заблокируете Google-Agent в robots.txt — и он войдет. Потому что Гугл считает его прокси пользователя, а не краулером. Это другая архитектура, и она уже в ваших логах.
191
0
успешно отправлен!
После модерации он будет добавлен