Сканируем сайт, защищенный паролем в Screaming Frog

После версии 7.0 в Screaming Frog появилась возможность сканировать сайты, которые находятся в разработке под паролем. Это очень мощная функция, которую нужно использовать аккуратно, особенно если вы используете её впервые!

В этой статье мы рассмотрим только возможность сканирования сайта, который находится под паролем.
Открываем программу → Configuration → Authentication → Forms Based

В появившемся окне нажимаем на "+ Add" в правом нижнем углу и вставляем ссылку на домен, который нам нужно просканировать и нажимаем OK.

После чего появится всплывающее окно браузера, позволяющее войти в систему. В этом окне нам нужно ввести пароль для доступа к сайту (надеюсь он у вас есть) и затем войти в систему.

В результате успешного входа перед вами откроется ваш сайт. Если этого не произошло, то скорее всего вы ввели неправильный пароль, перепроверьте указанные данные и введите их снова.

Вводим домен, в который мы недавно зашли в браузере и начинаем сканирование. Теперь вы можете наблюдать за тем, как SEO Spider смело идет туда, куда ранее ему был запрещен доступ. Поздравляю, вы справились!

Если после всех настроек сайт все равно не сканируется, значит он либо закрыт для сканирования, либо нужно уменьшить скорость парсинга. На оба случая уже есть готовый материал. В начале сделайте всё, что описано в статье №1, если это не поможет, то возвращайтесь сюда и переходите к статье №2.

Статья №1 - Как просканировать закрытый от индексации сайт
Статья №2 - Как уменьшить скорость сканирования