​Мучаетесь с краулингом сайтов на Cloudflare из-за 403 статуса и блокировки ботов?…

​Мучаетесь с краулингом сайтов на Cloudflare из-за 403 статуса и блокировки ботов?

Просто откройте любую страницу нужного сайта.

Откройте Chrome DevTools.

Обновите страницу.

Перейдите в Network > Doc > основной HTML > Cookie и скопируйте их.

В Screaming Frog перейдите в Crawl config > HTTP Header > нажмите Add > добавьте Cookie и вставьте их туда.

Поздравляю, теперь в большинстве случаев вы получите статусы 200 и больше никаких 403, рассказывает Абдерразак Руаг.

#BotBlocking #Crawling #ScreamingFrog

@MikeBlazerX
📈 "Пушки" — в @MikeBlazerPRO