Как автоматизировать сканирование и отчёты об ошибках в Screaming Frog

Время чтения - 10 мин

Количество прочтений

436

Дата обновления —
02 мая 2026

SEO-специалист Андрей Павлович

Андрей Павлович

Частный SEO-специалист и автор статьи

В этой сложной и долгой статье вы сделаете то, что поможет вам полностью автоматизировать сканирование вашего сайта и выводить результат по ошибкам в красивых отчетах Google Looker Studio. Смотреть шаблон Google Looker Studio от Screaming Frog.

Чтобы сделать свой персонализированный отчет об ошибках сайта в Google Looker Studio вам понадобится:

Лицензионная версия программы Screaming Frog;
Google аккаунт для Looker Studio и Google диска;
Готовый файл конфигурации в Screaming Frog.

Чтобы всё это сделать следуйте шагам в руководстве ниже, чтобы настроить свой первый автоматизированный отчет о сканировании в Google Data Studio..

Шаг 1. Создаем файл конфигурации в Screaming Frog

Чтобы запланировать сканирование сайта, сначала нужно настроить и сохранить конфигурационный файл, так как без него автоматический запуск невозможен. Этот файл содержит все правила
сканирования (как именно краулер должен сканировать данный сайт).

Руководство по настройке сканирования в Screaming Frog →

☝️ В руководстве я дал рекомендации что нужно активировать при полной проверке сайта.

Если вы используете базовые или собственные настройки, их нужно сохранить:

Установите все настройки Screaming Frog, которые вы используете при сканировании
После произведите их сохранение: «Configuration» → «Profiles» → «Save As» → Выбираем папку, где мы не сможем случайно удалить этот файл.

сохранение конфигурации screaming frog

А также посоветую решение проблемы, если Screaming Frog не парсит сайт.

«Если вам нужна экспертная помощь в настройке Screaming Frog, анализе сайта или помощи в продвижении, то можете обратиться ко мне за SEO-консультацией.»

Шаг 2. Запланированное сканирование сайта

«Экспорт в Looker Studio доступен только при запланированном сканировании, так как он создаёт сводный отчёт по результатам обхода сайта в отдельной строке. При ручной выгрузке можно отправить данные в Google Sheets, но такой файл не подойдет для Looker Studio.»

Чтобы создать новое запланированное сканирование в верхнем меню переходим в File > Scheduling > в появившемся окне нажмите "+ Add", .

General

1. Task Name - Название данной задачи;
2. Project Name - Название проекта (не путать с доменом);
В task и project name запрещено использовать следующие символы \ / . : * ? ' < > | "
3. Description - Описание (можно не заполнять);
4. Date\Time - Дата, время и интервал запланированного сканирования.

Once - запуск произойдет 1 раз
Daily - ежедневно
Weekly - еженедельно
Monthly - ежемесячно

запланированное сканирование

Start Options

start options screaming frog

1. Crawler Mode - Позволяет выбрать режим сканирования сайта.

Spider - Программа просканирует весь сайт по заданным настройкам;
List - обход только указанного списка страниц.
List source - выбор способа загрузки страниц.

File - загрузкой документа с списком URL.
Sitemap URL - Сканированию URL в файле sitemap.xml.

2. Crawl Seed - Адрес сайта для сканирования в формате https://seo-personal.ru/.
3. Crawl Config - Путь к файлу конфигурации, который мы сохранили в Шаге №1.
4. Auth Config - функция, позволяющая краулеру (сканеру) получать доступ к закрытым, парольным или защищенным разделам сайта. Если таковых нет, то оставляем поле пустым.

API

Запланированное сканирование сайта

Вкладка «API» - позволяет выбрать API, к которым следует подключиться для запланированного сканирования.

В этом разделе отметьте Google Search Console и PageSpeed Insights. Это API, которые я рекомендовал настроить в руководстве по настройке сканирования.

Выбираем нужный сервис и нажимаем на шестеренку;
Выбираем нужный Google аккаунт, на котором есть сайт, который мы будем сканировать;
Нажимаем connect;
Выбираем нужный сайт;
Жанимаем "OK" и после жмем на любое место, чтобы окно закрылось.

PageSpeed Insights подключится автоматически после нажатия на чек-бокс, если вы правильно указали ключ.

Export

подключение гугл аккаунта

1. Headless (requires for exports) - Ставим галочку напротив, чтобы разрешить экспорт данных;
2. Local output folder - Выбираем папку на своем ПК для хранения необходимых данных;
3. Google drive account - подключаем свою учетную запись Google. Именно в этом аккаунте будут созданы таблицы Google Sheets с данными сканирования;

«Важно: учетная запись Google должна совпадать с той, с которой вы подключаетесь к Looker Studio.»

Нажимаем «Manage» → «+ Add» → Выбираем нужный аккаунт;
Даем приложению доступ ко всем файлам, которые оно запрашивает и закрываем окно;

4. Выбираем «Created timestamped folder in ouput» - чтобы в выходных данных создавалась папка с меткой времени

5. Local file exports - сохранение результатов сканирования локально (на свой ПК):

Save crawl - сохранил файлы на ваш ПК;
Create XML sitemap - автоматическое создание xml карты сайта;
Create images sitemap - генерация xml карты с картинками, которые есть на сайте.

6. Export for Looker studio - устанавливаем флажок напротив «Custom crawl overview» → нажимаем на «Configure» → выбираем все метрики, нажав на двойную стрелку.
Именно эта функция автоматически экспортирует данные в Google таблицы в новую строку.

перенос всех значений

6. Нажмите кнопку ОК, чтобы сохранить все данные и расписание будет активировано в указанную дату и время.

«Рекомендую проверить корректность работы. Для этого запланируйте сканирование сразу после завершения настройки. В назначенное время система запустит запуск сканирования через .exe файл.»

автоматический запуск программы screaming frog

Чтобы проверить корректность запланированного сканирования, дождитесь завершения сканирования. Отслеживать процесс можно по полю "mCompleted".

запланированное сканирование screaming frog

Чтобы проверить корректность запланированного сканирования запустите программу → вернитесь в меню «File» → «Scheduling» → «History».

история запланированного сканирования

Если у сканирования есть дата и время окончания и нет никаких ошибок в столбце «Error», то сканирование было выполнено успешно.

история планирования screaming frog

Проблема

Хочу, чтобы SEO приносило заявки, а не пустые отчеты.

Решение

Без стратегии продвижение только забирает деньги и теряет смысл. SEO-консультация поможет навести порядок и сделать сайт источником продаж.

Подробнее о консультации →

Шаг 3. Подключение к Looker Studio

После выполнения первого сканирования в выбранной вами учетной записи Google Drive создается папка с названием «Screaming Frog SEO Spider», в которой будет находиться документ Google Sheets с результатами сканирования.

Перейдите в Looker Studio → «Создать» → «Источник данных»

Looker Studio фото

Завершите создание аккаунта, указав страну, название компании и выбрав какие данные по рассылке вы хотите получать.

создание аккаунта

Выберите коннектор Google Sheets, который вы найдете в разделе «Google Connectors». После в разделе «Авторизация» нажмите «Разрешить».

Google Connectors

Теперь с помощью поиска найдите Google таблицу, в которой находятся данные сканирования Screaming Frog → Выберите лист → В разделе «Варианты» оставляем без изменений → нажимаем кнопку «Связать» в правом верхнем углу.

выбор нужной таблицы

На следующем экране вы увидите поля, содержащиеся в отчете → нажмите «Создать отчет». Так как источник данных уже создан, открывшийся отчет можно закрыть и удалить.

Вернитесь обратно в Looker Studio и проделайте те же действия ещё раз, только в разделе «Partner Connectors» выберите «Chrome UX Report».
Chrome UX Report - это официальный набор данных от Google, который показывает, как реальные пользователи взаимодействуют с вашим сайтом в браузере Chrome.

Chrome UX Report

Дайте разрешение, настройте шаги и подключите этот источник данных.

подключение Chrome UX Report

Cтатьи по данной теме:

Как удалить страницу из поиска Яндекс или Google

Robots.txt для 1С-Bitrix

Самостоятельная настройка защиты от негативного ботного трафика CloudFlare

Robots.txt для WordPress