Как автоматизировать сканирование и отчёты об ошибках в Screaming Frog

Время чтения - 10 мин

Количество прочтений

436

Дата обновления —
02 мая 2026

SEO-специалист Андрей Павлович

Андрей Павлович

Частный SEO-специалист и автор статьи

В этой сложной и долгой статье вы сделаете то, что поможет вам полностью автоматизировать сканирование вашего сайта и выводить результат по ошибкам в красивых отчетах Google Looker Studio. Смотреть шаблон Google Looker Studio от Screaming Frog.

Чтобы сделать свой персонализированный отчет об ошибках сайта в Google Looker Studio вам понадобится:

Лицензионная версия программы Screaming Frog;
Google аккаунт для Looker Studio и Google диска;
Готовый файл конфигурации в Screaming Frog.

Чтобы всё это сделать следуйте шагам в руководстве ниже, чтобы настроить свой первый автоматизированный отчет о сканировании в Google Data Studio..

Шаг 1. Создаем файл конфигурации в Screaming Frog

Чтобы запланировать сканирование сайта, сначала нужно настроить и сохранить конфигурационный файл, так как без него автоматический запуск невозможен. Этот файл содержит все правила
сканирования (как именно краулер должен сканировать данный сайт).

Руководство по настройке сканирования в Screaming Frog →

☝️ В руководстве я дал рекомендации что нужно активировать при полной проверке сайта.

Если вы используете базовые или собственные настройки, их нужно сохранить:

Установите все настройки Screaming Frog, которые вы используете при сканировании
После произведите их сохранение: «Configuration» → «Profiles» → «Save As» → Выбираем папку, где мы не сможем случайно удалить этот файл.

сохранение конфигурации screaming frog

А также посоветую решение проблемы, если Screaming Frog не парсит сайт.

«Если вам нужна экспертная помощь в настройке Screaming Frog, анализе сайта или помощи в продвижении, то можете обратиться ко мне за SEO-консультацией.»

Шаг 2. Запланированное сканирование сайта

«Экспорт в Looker Studio доступен только при запланированном сканировании, так как он создаёт сводный отчёт по результатам обхода сайта в отдельной строке. При ручной выгрузке можно отправить данные в Google Sheets, но такой файл не подойдет для Looker Studio.»

Чтобы создать новое запланированное сканирование в верхнем меню переходим в File > Scheduling > в появившемся окне нажмите "+ Add", .

Вкладка "General"

1. Task Name - Название данной задачи;
2. Project Name - Название проекта (не путать с доменом);
В task и project name запрещено использовать следующие символы \ / . : * ? ' < > | "
3. Description - Описание (можно не заполнять);
4. Date\Time - Дата, время и интервал запланированного сканирования.

Once - запуск произойдет 1 раз
Daily - ежедневно
Weekly - еженедельно
Monthly - ежемесячно

После заполнения этих данных переходим в следующую вкладку.

запланированное сканирование

Start Options

1. Crawler Mode - Позволяет выбрать режим сканирования сайта.

Spider - Программа просканирует весь сайт по заданным настройкам;
List - обход только указанного списка страниц (нужно будет загрузить список страниц).
List source - выбор способа загрузки страниц.

File - загрузкой документа с списком URL.
Sitemap URL - Сканированию URL в файле sitemap.xml.

2. Crawl Seed - Адрес сайта для сканирования в формате https://seo-personal.ru/.
3. Crawl Config - Путь к файлу конфигурации, который мы сохранили в Шаге №1.
4. Auth Config - функция, позволяющая краулеру (сканеру) получать доступ к закрытым, парольным или защищенным разделам сайта. Если таковых нет - оставляем поле пустым.

start options screaming frog

Вкладка "API"

Позволяет выбрать API, к которым следует подключиться для запланированного сканирования.

В этом разделе отметьте Google Search Console и PageSpeed Insights. Это API, которые я рекомендовал настроить в руководстве по настройке сканирования.

Выбираем нужный сервис и нажимаем на шестеренку;
Выбираем нужный Google аккаунт, на котором есть сайт, который мы будем сканировать;
Нажимаем connect;
Выбираем нужный сайт;
Жанимаем "OK" и после жмем на любое место, чтобы окно закрылось.

Запланированное сканирование сайта

PageSpeed Insights подключится автоматически после нажатия на чек-бокс, если вы правильно указали ключ.

Export

1. Headless (requires for exports) - Ставим галочку напротив, чтобы разрешить экспорт данных;
2. Local output folder - Выбираем папку на своем ПК для хранения необходимых данных;
3. Google drive account - подключаем свою учетную запись Google. Именно в этом аккаунте будут созданы таблицы Google Sheets с данными сканирования;

подключение гугл аккаунта

«Важно: учетная запись Google должна совпадать с той, с которой вы подключаетесь к Looker Studio.»

Нажимаем «Manage» → «+ Add» → Выбираем нужный аккаунт;
Даем приложению доступ ко всем файлам, которые оно запрашивает и закрываем окно;

4. Output mode
Выбираем «Created timestamped folder in ouput» - чтобы в выходных данных создавалась папка с меткой времени

5. Local file exports - сохранение результатов сканирования локально (на свой ПК):

Save crawl - сохранил файлы на ваш ПК;
Create XML sitemap - автоматическое создание xml карты сайта;
Create images sitemap - генерация xml карты с картинками, которые есть на сайте.

В данном поле ничего не выбираем.

6. Export for Looker studio
Устанавливаем флажок напротив «Custom crawl overview» → нажимаем на «Configure» → выбираем все метрики, нажав на двойную стрелку (скриншот ниже).
Именно эта функция автоматически экспортирует данные в Google таблицы в новую строку.

перенос всех значений

6. Нажмите кнопку ОК, чтобы сохранить все данные и расписание будет активировано в указанную дату и время.

«Рекомендую проверить корректность работы. Для этого запланируйте сканирование сразу после завершения настройки. В назначенное время система запустит запуск сканирования через .exe файл.»

автоматический запуск программы screaming frog

Дождитесь завершения сканирования, чтобы перейти к шагам ниже. Отслеживать процесс можно по полю "mCompleted".

запланированное сканирование screaming frog

Для проверки результата запланированного сканирования запустите программу → вернитесь в меню «File» → «Scheduling» → «History».

история запланированного сканирования

Если у сканирования есть дата и время окончания и нет никаких ошибок в столбце «Error», то сканирование было выполнено успешно.

история планирования screaming frog

Ошибки и варианты их решения

Непредвиденное завершение задачи. Причин по которым это могло произойти - масса, но можно выделить наиболее частые:

Закрыли окно .exe, в котором показывался процесс и тем самым прервали сканирование;

Проблема

Хочу, чтобы SEO приносило заявки, а не пустые отчеты.

Решение

Без стратегии продвижение только забирает деньги и теряет смысл. SEO-консультация поможет навести порядок и сделать сайт источником продаж.

Подробнее о консультации →

Шаг 3. Подключение к Looker Studio

«Не приступайте к шагу №3, пока у вас не будет итоговый Google sheets файл с результатом сканирования (Шаг №2)»

После первого сканирования в выбранной учетной записи Google Drive создается папка с названием «Screaming Frog SEO Spider» → Название из поля "Task name" → Project name → внутри будет находиться 2 документа Google Sheets с результатами сканирования.

Перейдите в Looker Studio → «Создать» → «Источник данных»

Looker Studio фото

Завершите создание аккаунта, указав страну, название компании и выбрав какие данные по рассылке вы хотите получать. Нажимаем "Далее".

создание аккаунта

При завершении создании аккаунта ставим везде "Нет", если вы не коллекционируете всякие рассылки и нажимаем "Далее".

Завершите создание аккаунта

Выберите коннектор "Google Таблицы", который вы найдете в разделе «Google Connectors».

Google Connectors

В разделе «Авторизация» нажмите «Разрешить» и выберите аккаунт, которому вы даете разрешение.

коннектор datastudio

Теперь с помощью поиска найдите Google таблицу, в которой находятся данные сканирования:
Screaming Frog → Выберите лист → В разделе «Варианты» оставляем без изменений → нажимаем кнопку «Связать» в правом верхнем углу.

выбор нужной таблицы

На следующем экране вы увидите поля, содержащиеся в отчете → нажмите «Создать отчет». Так как источник данных уже создан, открывшийся отчет можно закрыть и удалить.

Вернитесь обратно в Looker Studio и проделайте те же действия ещё раз, только в разделе «Partner Connectors» выберите «Chrome UX Report».
Chrome UX Report - это официальный набор данных от Google, который показывает, как реальные пользователи взаимодействуют с вашим сайтом в браузере Chrome.

Chrome UX Report

Дайте разрешение, настройте шаги и подключите этот источник данных.

подключение Chrome UX Report

Cтатьи по данной теме:

Как удалить страницу из поиска Яндекс или Google

Robots.txt для 1С-Bitrix

Самостоятельная настройка защиты от негативного ботного трафика CloudFlare

Robots.txt для WordPress