Мем дня: Cloudflare, которые годами защищали сайты от ботов-парсеров, выпустили парсер
Мем дня: Cloudflare, которые годами защищали сайты от ботов-парсеров, выпустили парсер
Они анонсировали эндпоинт /crawl для Browser Rendering, который позволяет сканировать и извлекать контент целого сайта одним API-запросом. Он предназначен для «RAG пайплайнов, обучения AI, мониторинга и исследований».
Ирония в том, что Cloudflare – абсолютный лидер как раз в защите сайтов от нежелательных краулеров и ботов, которые собирают данные для обучения ИИ.
В свое оправдание они замечают, что их бот (в отличие от всех остальных злюк-ботов) будет вести себя хорошо: уважать правила сайта и robots.txt 😇
Материалы по теме
Самая вирусная история недели — некий разработчик не стерпел, что у родителей…
Самая вирусная история недели — некий разработчик не стерпел, что у родителей телевизор Xiaomi показывал рекламу перед открытием приложения Netflix. Он дал Claude Code номер модели и тот за день пересобрал интерфейс, избавившись от всего…
238
0
Kimi готовит K3.1 Moonshot AI опубликовала у себя в X тизер новой…
Kimi готовит K3.1
Moonshot AI опубликовала у себя в X тизер новой версии. Намекают на большой буст в генерации 3D-сцен и анимации.
Ждем
61
0
По данным Pew Research Center, каждый пятый взрослый американец регулярно получает новости…
По данным Pew Research Center, каждый пятый взрослый американец регулярно получает новости в TikTok (в 2020 году таких было всего 3%). Но за последний год общая доля не выросла, а у молодых показатель в опросе ниже прошлогоднего — тогда было 43%,…
69
0
Вставить свои 5 копеек: