​Сотрудники Meta втайне написали мне в личку, раскрывает levelsio. Опубликовано с разрешения…

​Сотрудники Meta втайне написали мне в личку, раскрывает levelsio.

Опубликовано с разрешения

Meta ЯКОБЫ пилит собственный поисковик уровня Google.

Задумка в том, чтобы когда их ИИ делает веб-поиск, он не уходил в Google, ведь тогда Google сможет использовать эти данные для СВОЕГО обучения.

Поэтому им нужен свой веб-индекс, который они потом будут использовать как собственный поисковик Meta для своего ИИ

На этой неделе Meta также ведет жесткий, очень жесткий парсинг всех моих сайтов (и, похоже, теперь и всех остальных тоже)

Настолько жесткий, что сегодня я даже получил алерты по load average на одном VPS из-за этого

Тот факт, что они долбят url2og (мой собственный сервис скриншотов для всех моих сайтов), может означать, что они парсят не только текст, но и картинки.

Так что, возможно, они работают над моделью для изображений, видео или просто над world model

P.S. эта статистика только по url2og, даже не по остальным моим сайтам!

Пожалуйста, @finkd, но, возможно, мне стоит начать брать с тебя за это деньги через @cloudflare 😊

Инсайты комьюнити

— Анализ логов по двум юзер-агентам краулеров Meta показывает резкий перекос: meta-externalagent зафиксировал всего 27 хитов против 42 169 у meta-webindexer на том же сайте — основную нагрузку генерирует краулер веб-индексатора, а не сборщик для ИИ-агента.
— Полевые логи показывают нагрузку Meta в контексте: примерно 9 запросов в минуту, тогда как на сайте другого вебмастера ClaudeBot долбит на скорости ~300 запросов в секунду через свои 25 вариаций ccTLD.
— Гипотеза от инсайдера: этот всплеск парсинга кормит сбор обучающих данных для модели следующего поколения в диапазоне 5-10 триллионов параметров.
— Реальные кейсы показывают, что краулеры Meta игнорируют как директивы robots.txt, так и HTTP-ответы 429. В итоге один вебмастер был вынужден прибегнуть к временной блокировке на сутки как к крайнему средству.
— Кейсы с ecommerce-сайтов показывают, что тяжелые всплески парсинга несколько раз в месяц могут фактически валить (как при DDoS) стеки WordPress/WooCommerce; включение режима Under Attack в Cloudflare — это единственная защита, которая выдерживает такую нагрузку.

#Bots #Crawling #Scraping

@MikeBlazerX
⚠️ Закрытый канал: @MikeBlazerPRO