Новый инструмент отслеживает 26 ИИ‑ботов и показывает, что они делают с контентом сайта
OpenAttribution запустила бесплатный инструмент PolicyCheck, который анализирует robots.txt и показывает, какие из 26 ИИ‑ботов (GPTBot, ClaudeBot, CCBot и т. д.) могут получить доступ к контенту сайта.
Коалиция OpenAttribution запустила бесплатный инструмент PolicyCheck, который позволяет паблишерам и владельцам сайтов мгновенно проверить, какие из 26 известных ИИ‑ботов могут получать доступ к их контенту через robots.txt. Среди отслеживаемых ботов — GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google‑Extended, PerplexityBot и другие краулеры, которые собирают данные для обучения моделей или генеративного поиска.
PolicyCheck доступен как веб‑версия на openattribution.org/policycheck, так и в виде утилиты командной строки на Rust и API для массового анализа. Инструмент парсит robots.txt сайта, определяет статус доступа для каждого бота (разрешен/заблокирован) и может выгружать результаты в CSV‑формат для анализа целых списков доменов.
OpenAttribution создана паблишерами, брендами и технологическими провайдерами для установления стандартов атрибуции контента в ИИ‑системах и коллективных переговоров с OpenAI, Anthropic, Google и другими. Коалиция разрабатывает технические спецификации вроде ACAS (система отслеживания использования контента), лоббирует законы о fair use для эпохи ИИ и требует прозрачности и компенсаций для паблишеров, которые теряют 20–40% трафика из‑за ИИ‑поиска с нулевым кликом.
Материалы по теме
Вставить свои 5 копеек: