​Скрипт «Scrape To Markdown» позволяет заюзать Screaming Frog, чтобы перевести весь контент в markdown

На днях я наткнулся в сети на очень классный скрипт, отмечает Крис Лонг.

Евгений Орлов написал для Screaming Frog скрипт, который автоматически переводит весь ваш контент в markdown за один раз.

Вместо того чтобы парсить постранично, вы можете запустить скрипт внутри интерфейса SF и получить массовую выгрузку.

Как это сделать:

1. Откройте Screaming Frog
2. Перейдите в Configuration > Spider > Rendering. Включите рендеринг JavaScript
3. Теперь идите в Configuration > Custom > Custom JavaScript
4. Нажмите «Add«, чтобы настроить новый кастомный JS-файл
5. Скопируйте и вставьте код из репозитория GitHub
6. Запустите краулинг.

На правой панели можно перейти в Custom JavaScript.

Вы должны увидеть все ваши страницы в формате markdown!

На прошлой неделе я давал совет по массовому экспорту текста страниц для скармливания ИИ под контекст.

Так вот, использование этого скрипта — вероятно, более эффективный способ, так как он создает файлы контекста в гораздо более дружелюбном для ИИ формате.

Полный скрипт можно найти здесь: https://github.com/e-orlov/Screaming-Frog-Custom-Javascript/blob/main/scrape-to-markdown-on-steroids.js

Инсайты комьюнити

— Джон Мюллер и Мартин Сплитт из Google предупреждали, что не стоит плодить отдельную AI-оптимизированную markdown-версию сайта — издатели получат больше пользы, если доработают существующие HTML-страницы напрямую, а не будут поддерживать параллельные версии контента для ИИ.
— Запуск выгрузки с включенным JavaScript-рендерингом захватывает отрендеренный DOM в виде markdown. Это не то, что реально получает большинство ИИ-краулеров, так как они не выполняют JavaScript. Если прогнать экспорт дважды — с включенным и выключенным рендером — и сравнить результаты, можно увидеть, что именно теряется до того, как ИИ-система увидит страницу.
— Если выгружать markdown еженедельно и сравнивать результаты неделя к неделе, можно отследить дрейф сайта — смену шаблонов, новый шаблонный текст в футере, обновления CMS — до того, как это выльется в проблему с цитированием ИИ через три недели.
— Альтернативный пайплайн на базе Make с Firecrawl и Supabase добавляет шаг, который разбивает выгруженный контент на семантические чанки, структурируя его для более легкой обработки в LLM.

#ScreamingFrog #Scraping #AI

@MikeBlazerX
⚠️ Закрытый канал: @MikeBlazerPRO