Мем дня: Cloudflare, которые годами защищали сайты от ботов-парсеров, выпустили парсер
Мем дня: Cloudflare, которые годами защищали сайты от ботов-парсеров, выпустили парсер
Они анонсировали эндпоинт /crawl для Browser Rendering, который позволяет сканировать и извлекать контент целого сайта одним API-запросом. Он предназначен для «RAG пайплайнов, обучения AI, мониторинга и исследований».
Ирония в том, что Cloudflare – абсолютный лидер как раз в защите сайтов от нежелательных краулеров и ботов, которые собирают данные для обучения ИИ.
В свое оправдание они замечают, что их бот (в отличие от всех остальных злюк-ботов) будет вести себя хорошо: уважать правила сайта и robots.txt 😇
Материалы по теме
Вытаскиваем Auth-Code в обход регистратора Если вы работаете с ccTLD доменными зонами,…
Вытаскиваем Auth-Code в обход регистратораЕсли вы работаете с ccTLD доменными зонами, то часто приходится выбирать регистраторов по принципу: из всех зол выбираем меньшее. И часто такие регистраторы хреново держат жалобы или задалбывают верификацией…
18
0
Продолжаем расширение! 🚀 Первый набор ребят уже сотрудничает со мной целый месяц…
Продолжаем расширение! 🚀Первый набор ребят уже сотрудничает со мной целый месяц и стабильно наливает профит. Поэтому мы продолжаем расширять наши ряды и объявляем о поиске в команду:• Арбитражник обыкновенный• Биздев классический Если вы хотите…
22
0
#Ворчание Вчерашний сбой стал настоящим стресс-тестом для МФО. По времени остановки офферов…
#ВорчаниеВчерашний сбой стал настоящим стресс-тестом для МФО. По времени остановки офферов можно было составить график пробуждения маркетологов. Судя по реакции некоторых компаний, утро у них начинается ближе к обеду. Только пока рекламодатель…
289
0
Вставить свои 5 копеек: