Руководство по использованию ИИ в Screaming Frog (Screaming Frog 20.0)

Недавно вышло новое обновление Screaming Frog, и оно впечатляет. Вот что в него вошло:

• Пользовательский JavaScript
  • Сферы применения функции Custom JavaScript в Screaming Frog
    • Как создать Custom JavaScript
• Сканирование с ChatGPT
  • Как сканировать с ChatGPT в Screaming Frog
• Удобство на мобильных
  • Как проверить мобильную версию в Screaming Frog
• N-граммный анализ
  • Как сделать n-граммный анализ в Screaming Frog 20.0
• Локальные оценки Lighthouse
• Углеродный след

Разберём каждую тему с технической и теоретической стороны: сначала объясню, что это значит, а затем — как использовать это на практике в Screaming Frog. Приятного чтения!

Пользовательский JavaScript

Custom JS — это строки JavaScript-кода, которые можно добавить для выполнения определённой функции. Они позволяют извлекать данные или выполнять действия, которых нет на самом сайте, — именно это и предлагает Screaming Frog.

Custom JavaScript позволяет выполнять JavaScript-код на каждом сканируемом URL. Например, как показано ниже, можно настроить фильтр по типу контента, чтобы сниппет выполнялся только для определённых типов.

Функция в примере выше показывает язык основного текста на региональных страницах сайта, чтобы выявить возможные несоответствия. С помощью кнопки «Add from Library» справа внизу можно легко получить доступ к функциям из библиотеки Screaming Frog.

Своими сниппетами можно делиться: создавайте их — они сохраняются в вашей пользовательской библиотеке — и экспортируйте/импортируйте библиотеку в формате JSON.

Для этого используйте кнопки в левом верхнем углу окна со сниппетами, которое открывается по кнопке «Add from Library».

Сферы применения Custom JavaScript в Screaming Frog

Вот что можно делать с этими функциями:

• С помощью ИИ создавать alt-тексты для изображений.
• Запускать события наведения мыши — например, проверять JS-функции, которые открывают меню при наведении курсора.
• Прокручивать страницу (для сканирования некоторых реализаций бесконечной прокрутки).
• Скачивать и сохранять различный контент локально (изображения, PDF и т. д.).
• Анализировать тональность, интент или язык контента страницы.
• Подключаться к API SEO-инструментов, которые ещё не интегрированы, например Sistrix.
• Извлекать эмбеддинги из контента — метод обработки естественного языка (NLP), который выглядит особенно важным для ИИ-поиска Google (тогда SGE).

И, конечно, многое другое — в библиотеке.

Знание JavaScript помогает при работе с этой функцией, но не обязательно: шаблонные сниппеты Screaming Frog можно настраивать, следуя комментариям в коде.

Как создать Custom JavaScript

Перейдите в «Config > Custom > Custom JavaScript» и нажмите «Add», чтобы создать свой сниппет, или «Add from Library», чтобы выбрать готовый.

Сниппеты Screaming Frog бывают двух типов: «Extraction» и «Action».

• Сниппеты Extraction:

Они возвращают значение или список значений (числа или строки) и показывают их столбцами во вкладке Custom JavaScript. Каждое значение списка сопоставляется со столбцом. При запуске такого сниппета страница прекращает загрузку ресурсов, и начинается выполнение кода. SEO Spider не завершит сканирование страницы, пока сниппет не отработает, а долгие сниппеты могут прерваться по тайм-ауту, и страница останется непросканированной. Сниппеты Extraction также умеют скачивать URL и записывать данные в текстовый файл: например, есть пример, скачивающий все изображения страницы, и пример, добавляющий все прилагательные страницы в CSV-файл.

• Сниппеты Action:

Они не возвращают данных, а только выполняют действия. Например, есть сниппет, который прокручивает страницу вниз, чтобы просканировать изображения с отложенной загрузкой. Сниппет Action запускается, пока страница продолжает загружать ресурсы, но для него нужно задать тайм-аут в секундах. По истечении времени SEO Spider завершит сканирование страницы.

При использовании сниппетов важно учитывать несколько моментов. Во-первых, можно запускать несколько сниппетов одновременно, но скорость сканирования будет зависеть от их количества и типа.

Во-вторых, при нескольких сниппетах все Action выполняются раньше Extraction. Если у нескольких Action разные тайм-ауты, SEO Spider использует самый большой из них.

Сниппеты Extraction останавливают загрузку страницы, поэтому новых запросов не происходит. У Action такого ограничения нет, но для корректного сканирования нужен тайм-аут. Сниппеты имеют доступ к Chrome Console Utilities API, поэтому могут использовать методы вроде getEventListeners(), недоступные обычному JavaScript на странице. Пример — «trigger mouse event».

Сканирование с ChatGPT

Выберите сниппет «(ChatGPT) Template», откройте его в редакторе JS, добавьте свой API-ключ OpenAI — и во время сканирования можно задавать любые запросы к странице. Также можно настроить используемую модель OpenAI, анализируемый контент и другое.

Например, это позволяет быстро решать простые задачи вроде мгновенной генерации alt-текстов для изображений, о которой говорилось выше. А если нужно действовать совсем быстро — то же самое можно делать для метаописаний или заголовков.

Как сканировать с ChatGPT в Screaming Frog

В SEO Spider есть несколько готовых JavaScript-сниппетов для ChatGPT, которым нужен только API-ключ OpenAI.

1. Откройте настройки Custom JavaScript по пути «Config > Custom > Custom JavaScript» и нажмите «Add from Library».
2. Вкладка «System» — библиотека готовых сниппетов. Сниппеты ChatGPT начинаются с «(ChatGPT)». Выберите нужный.
3. Нажмите кнопку редактирования справа от добавленной строки и вставьте свой API-ключ вместо «your_api_key_here» (строка 25 кода).
4. Включите рендеринг JavaScript в «Config > Spider > Rendering».

Выполнив эти четыре шага, вы свяжете Screaming Frog с OpenAI.

Удобство на мобильных

Благодаря интеграции с Lighthouse теперь можно проверять мобильную версию в больших масштабах.

Появилась новая вкладка «Mobile» с фильтрами для типичных проблем: не задан viewport, слишком маленькие области нажатия, контент не масштабирован под экран, нечитаемый размер шрифта.

Как проверить мобильную версию в Screaming Frog

Не забудьте подключить API PSI (PageSpeed Insights): «Config > API Access > PSI».

Проблемы мобильной версии можно выгрузить списком через Reports > Mobile.

N-граммный анализ

В SEO «n-граммный анализ» — метод изучения частоты и характера употребления слов или групп слов (n-грамм) в контенте страницы. N-грамма — это n последовательных слов: «кот» — униграмма, «чёрный кот» — биграмма, «очень чёрный кот» — триграмма.

N-граммный анализ — мощная стратегия для оптимизации контента, получения конкурентного преимущества и роста в поиске. Подробную статью о n-граммном анализе я подготовлю отдельно — следите за обновлениями!

Как сделать n-граммный анализ в Screaming Frog 20.0

Теперь в Screaming Frog можно анализировать частоту фраз с помощью n-грамм на страницах сканирования или суммарно по разным страницам сайта. Для этого включите «Store HTML / Store Rendered HTML» в «Config > Spider > Extraction». N-граммы затем отображаются в нижней вкладке N-grams.

Даже если некоторые ключевые слова уже не так популярны, наличие на странице слов, по которым вы хотите ранжироваться, обычно помогает SEO.

Этот анализ помогает улучшить соответствие страницы теме, выявить пробелы в ключевых словах и найти новые возможности для внутренней перелинковки.

Локальные оценки Lighthouse

Ещё одна новая функция Screaming Frog — локальная проверка оценок Lighthouse. Достаточно выбрать источник «Local» в «Config > API Access > PSI».

Углеродный след

Как и Log File Analyser 6.0, SEO Spider теперь автоматически рассчитывает выбросы углерода для каждой страницы с помощью библиотеки CO2.js.

Помимо расчёта, каждому URL присваивается углеродный рейтинг, а во вкладке «Validation» появился раздел «Carbon Rating».

Цифровой углеродный рейтинг оценивает воздействие веб-страниц на окружающую среду по шкале от A до F: A означает минимальные выбросы, F — максимальные. Рейтинги D, E и F говорят о том, что страницу нужно улучшить с точки зрения устойчивости; обычно они напрямую связаны с весом страницы, энергопотреблением дата-центров, передачей данных и обработкой на устройствах. Эти рейтинги помогают разработчикам и владельцам сайтов делать страницы энергоэффективнее.

С этими и другими обновлениями Screaming Frog превзошёл сам себя. Похоже, инструмент, которым пользуется каждый SEO-специалист, будет развиваться и дальше. Желаю всем дней с большим трафиком и ИИ!

Источники:

https://www.screamingfrog.co.uk/seo-spider-20

https://www.screamingfrog.co.uk/seo-spider/issues/validation/high-carbon-rating

https://www.screamingfrog.co.uk/seo-spider/tutorials/how-to-crawl-with-chatgpt