После версии 7.0 в Screaming Frog появилась возможность сканировать сайты, которые находятся в разработке под паролем. Это очень мощная функция, которую нужно использовать аккуратно, особенно если вы используете её впервые!
«Если вы используете функцию в первый раз, то я не рекомендую давать доступ к административной панели сайта, так как краулер легко сможет создать сообщения, установить плагины или даже удалить данные»
В этой статье мы рассмотрим только возможность сканирования сайта, который находится под паролем.
Открываем программу → Configuration → Authentication → Forms Based
В появившемся окне нажимаем на "+ Add" в правом нижнем углу и вставляем ссылку на домен, который нам нужно просканировать и нажимаем OK.
После чего появится всплывающее окно браузера, позволяющее войти в систему. В этом окне нам нужно ввести пароль для доступа к сайту (надеюсь он у вас есть) и затем войти в систему.
В результате успешного входа перед вами откроется ваш сайт. Если этого не произошло, то скорее всего вы ввели неправильный пароль, перепроверьте указанные данные и введите их снова.
После успешного входа на сайт нажимаем OK и переходим к парсингу
Вводим домен, в который мы недавно зашли в браузере и начинаем сканирование. Теперь вы можете наблюдать за тем, как SEO Spider смело идет туда, куда ранее ему был запрещен доступ. Поздравляю, вы справились!
Что делать, если сайт все равно не сканируется?
Если после всех настроек сайт все равно не сканируется, значит он либо закрыт для сканирования, либо нужно уменьшить скорость парсинга. На оба случая уже есть готовый материал. В начале сделайте всё, что описано в статье №1, если это не поможет, то возвращайтесь сюда и переходите к статье №2.
Чем занимается SEO-специалист, уровни заработной платы, необходимые навыки и карьерные перспективы, которых можно достичь. Узнайте с чего начать освоение профессии