Как сканировать JavaScript в Screaming Frog

Исторически сложилось так, что поисковые роботы, например Googlebot, не могли обрабатывать динамический контент, созданный с использованием JavaScript. Они видели только то, что было заложено в статическом HTML-коде.

Со временем веб-разработка продвинулась вперёд. Появились фреймворки Angular, React, Vue, и всё больше сайтов начинают работать на JavaScript. Даже на стандартных сайтах этот язык выполняет различные функции. Игнорировать эту тенденцию было невозможно. В результате Google отказался от устаревшего метода сканирования AJAX и теперь перед индексацией рендерит веб-страницы так же, как это делают браузеры, используя технологию WRS (Web Rendering Service).

Google умеет обрабатывать контент, созданный на JavaScript. Но с этим языком не всё так просто: не все краулеры способны справиться с обработкой таких страниц. Именно поэтому ещё несколько лет назад Screaming Frog представил первую в своём роде функцию рендеринга JavaScript.

При стандартных настройках Screaming Frog обходит только HTML-код. Он игнорирует схему сканирования AJAX и JS, и чтобы краулер учитывал JS при сканировании, необходимо сделать следующее:

Configuration → Spider → Rendering

1. В разделе "Rendering" выбираем вместо «Text only» → «JavaScript»

Описание указанных полей:
2. Enable Rendered Page Screen Shots - делает скриншоты анализируемых страниц и сохраняет их в папке на ПК.
Советую отключать, если вы после не хотите изучить все эти скриншоты.
3. AJAX Timeout (secs) - Как долго SF должен разрешать выполнение JavaScript, прежде чем проверять загруженную страницу.
Оставляем значение по умолчанию.
4. Window Size - область просмотра для рендеринга.
Рекомендую оставлять Googlebot Mobile: Smartphone, так как Google в первую очередь сканирует страницы с помощью агента для смартфонов.
5. Window Resize Time (secs) - Количество секунд, которое программа ожидает, прежде чем сделать снимок экрана.
Если вы отключили "Enable Rendered Page Screen Shots", то значение не важно.
6. Rotate – поворачивает окно в Sample.
7. Sample - показывает разрешение экрана, в котором будет происходить проверка.

Ранее в разделе Rendering мы задали user-agent для размера окна при рендеринге. Однако правильнее задать одинаковый User-agent для всего сканирования. Для этого переходим в раздел:

User-Agent → Preset User-Agents → Устанавливаем такого же агента, который указали в «Window Size»

Когда краулер заходит на сайт, он обычно тратит около 5 секунд, чтобы отобразить просканированный контент. Однако это время может увеличиваться, если сайт загружается медленно или если у сервера есть проблемы с доступностью. И если вы не хотите, чтобы краулер увидел страницу вот так

То вам нужно сократить скорость обхода и дать краулеру больше времени на обработку. Это замедлит скорость обхода (особенно для сайтов с >1000 страниц), но позволит получить точные данные.

Переходим в Configuration → Speed
Для снижения скорости используйте параметр «Max URI/s», который отвечает за максимальное количество URL-запросов в секунду. Для точности данных я рекомендую ставить 1 URL в секунду (как на скриншоте ниже)