Как сканировать JavaScript в Screaming Frog

Исторически сложилось так, что поисковые роботы, такие как Googlebot, не сканировали и не индексировали динамически созданный контент с использованием JavaScript, а могли видеть только то, что содержалось в статическом исходном коде HTML.

С ростом числа веб-сайтов и фреймворков, таких как Angular, React и Vue, веб-сайты, основанные на JavaScript, стали все более популярными. Но и в обычных сайтах существует большое количество функционала, сделанного с использованием JavaScript, поэтому Google просто не мог это игнорировать при сканировании сайтов и отказался от своего старого метода сканирования AJAX и теперь отображает веб-страницы перед индексацией, как современные браузеры.

Как правило, Google может сканировать и индексировать большую часть контента на JavaScript, но с JavaScript сложно работать, и не краулеры могут справиться с этим успешно. Поэтому ещё давно Screaming Frog запустили первую в истории функцию рендеринга JavaScript о которой мы и поговорим в этой статье.

При стандартных настройках Screaming Frog обходит только HTML код. Он игнорирует схему сканирования AJAX и JS. Чтобы при сканировании краулер учитывал JS необходимо сделать следующее:
Configuration → Spider → Rendering

После этого в разделе "Rendering" выбираем вместо «Text only» → «JavaScript». Также ниже будут описаны функции всех указанных полей:

1. Enable Rendered Page Screen Shots - делать скриншоты анализируемых страниц и сохраняет их в папке на ПК?
Советую отключать, если вы после не хотите изучить все эти скриншоты
2. AJAX Timeout (secs) - Как долго SF должен разрешать выполнение JavaScript, прежде чем проверять загруженную страницу.
Оставляем значение по умолчанию
3. Window Size - выбор размера окна
При обычной проверке выбираем Desktop, если вы хотите посмотреть как Google видит ваш сайт, то включите скриншоты и установите Googlebot Desktop.
4. Чекбокс Rotate – поворачивает окно в Sample.
5. Sample - показывает разрешение экрана, в котором будет происходить проверка