Руководство по настройке Screaming Frog SEO Spider

Инструмент предоставляет огромный функционал, который может помочь найти все распространенные проблемы, устранение которых улучшит позиции любого ресурса. Это делает его незаменимым помощником для глубокого анализа сайтов любого масштаба.

В этом руководстве мы разберем ключевые настройки и функции Screaming Frog SEO Spider, которые помогут вам эффективно анализировать и оптимизировать ваш веб-ресурс.

«Configuration» → «Spider» → «Crawl» → Раздел «XML Sitemaps» → Ставим галочки напротив:

• Crawl Linked XML Sitemaps - Разрешает сканировать sitemap.xml вашего сайта
• Auto discower XML Sitemaps via robots.txt - Сканировать карту сайта, которая указана у вас в robots.txt в разделе "Sitemap:"
• Crawl these sitemaps - Сканировать указанные карты сайта вручную (в поле ниже)

В базовой конфигурации Screaming Frog следует базовым правилам поисковых систем и не сканирует внутренние (internal) и внешние (external) ссылки, которые закрыты meta-тегом. Благодаря сканированию закрытых страниц вы сможете найти страницы, которые были случайно закрыты от индексации.

«Configuration» → «Spider» → «Crawl» → Раздел «Crawl behavior» → Ставим галочки напротив:

• «Follow internal "nofollow"»
• «Follow external "nofollow"»

Для проверки структурированных данных переходим в Configuration → Spider → Extraction и активируем следующие виды разметки:

• JSON-LS - производит проверку разметки в формате JSON;
• Microdata - Проверка разметки в формате microdata;
• Schema.org Validation;
• Google rich result feature validation - проверка функциональности расширенных результатов в поиске Google.

Crawl config → Spider → Advanced

✔️ Always follow redirects - всегда следовать по пути редиректа
Response Timeout (secs) - максимальное время, которое Screaming Frog будет ждать ответа от сервера для одного URL

• 30 секунд

5xx response retries - сколько раз Screaming Frog повторит запрос, если сервер вернул ошибку 5xx.

• Ставим 2

Чтобы не затруднять выбор правильной страницы для ранжирования, следует свести к минимуму дублирование контента внутри сайта. SEO Spider автоматически определяет точные дубликаты страниц (которые схожи на 100%). Однако для определения страниц, которые являются «почти дубликатами» (схожи на 70% и более), необходимо включить соответствующую настройку.

1. Переходим в раздел «Configuration» → «Content» → «Duplicates»;
2. Убираем галочку напротив «Only check indexable pages for duplicates», чтобы выявить страницы дубли и удалить их (по возможности), чтобы правильно расходовать бюджет сканирования;
3. Ставим галочку в разделе «Enable Near Duplicates» - активирует функционал поиска неявных дубликатов;
4. Near duplicate similarity threshold (%) - От какого процента похожести считать страницы частичными дублями. Я рекомендую ставить 70%.

Screaming Frog SEO Spider способен проверять заголовки, метаописания и текст страниц на орфографические и грамматические ошибки.

1. Переходим в раздел «Configuration» → «Content» → «Spelling & Grammar»;
2. Активируем «Enable spell check» - проверка орфографии;
3. Активируем «Enable Grammar check» - проверка грамматики;
4. В разделе «Language» выбираем «Manual» и указываем нужный язык.

Инструмент использует атрибут `lang` в HTML-коде страницы для автоматического определения языка. Так как на вашем сайте этот атрибут может быть указан неправильно мы выставим язык вручную.

Когда краулер заходит на сайт, он обычно тратит ≈5 секунд, чтобы отобразить просканированный контент. Однако это время может увеличиваться, если сайт загружается медленно или если у сервера есть проблемы с доступностью. И если вы не хотите, чтобы краулер увидел страницу вот так:

То вам нужно сократить скорость обхода и дать краулеру больше времени на обработку. Это замедлит скорость обхода (особенно для сайтов с >1000 страниц), но позволит получить точные данные.

Переходим в раздел «Speed» → Активируем «Limit URL/s» → в разделе «Max URI/s» ставим 1.
Это позволит снизить количество сканируемых URL до 1 URL в секунду.

Изменение User-Agent - настройка, которая позволяет увидеть и проанализировать свою веб-страницу так, как её видит поисковый робот. Это позволит проверить её корректность, скорость загрузки или отображаемый контент для конкретного User-Agent.

Позволит найти страницы, которые не получают трафик из Google и которые можно проработать и получать дополнительных пользователей на свой сайт.
1. Перейдите в Configuration → API Access → Google Search Console
Вкладка «Account Information»
2. Нажмите на «Sign in with Google», чтобы зайти в аккаунт;
3. Выберите нужный аккаунт → выдайте все необходимые права доступа;
4. "Received verification code. You may now close this window" - говорит о успешном подключении вашего аккаунта. Вернитесь обратно в программу.
5. В разделе «Select a property» выберите нужный сайт → Нажмите OK. Если сайтов много, воспользуйтесь поиском.

Вкладка «Search Analytics»
6. В разделе «Range» выберите «Past 12 months» (последние 12 месяцев);

• Снимите галочку - Crawl New URLs Discovered in Google Search Console - если поставить галочку, то в результаты сканирования будут добавляться старые URL из GSC, которых уже может не быть на сайте и портить общую статистику.

Вкладка «URL Inspection»
7. ✔️ «Enable URL Inspection»;

Последний параметр, который необходимо настроить. Убедитесь, что все пункты отмечены и что установлен флажок напротив пункта «Auto-analyse at End of Crawl», который позволяет автоматически запускать анализ по завершении сканирования.

Чтобы не производить одинаковые настройки постоянно можно сохранить конфигурационный файл, который будет содержать все параметры сканирования, которые вы настроили. Чтобы произвести сохранение перейдите в «Configuration» → «Profiles» → «Save As» → Выбираем папку, где мы не сможем случайно удалить этот файл.

Если после запуска Screaming Frog не парсит сайт (т.е обошел всего 1 страницу), то воспользуйтесь данными рекомендациями.