Все возможные методы закрытия сайта от индексации

Время чтения - 10 мин

Количество прочтений

8972

Дата публикации —
16 декабря 2024

Андрей Павлович

Частный SEO-специалист и автор статьи

На этапе разработки сайта, редизайна или работы с тестовыми версиями особенно важно предотвратить попадание незавершённого или временного контента в поиск. Чтобы этого избежать, на 100% существует несколько эффективных методов, которые я разобрал в этой статье. Ниже вы узнаете как и когда применять каждый из них, чтобы защитить ваш и не дать роботам зайти на него.

Как закрыть сайт от индексации

Запрет индексации в robots.txt

robots.txt – текстовый файл, расположенный в корневой директории сайта, который говорит поисковым системам (далее ПС) о том, какие файлы и папки нельзя сканировать (посещать их). С его помощью можно запретить обход всего сайта, отдельных страниц или файлов.

«Robots.txt – это лишь рекомендация и часто краулеры ПС могут игнорировать этот файл.»

Чтобы проверить наличие файла на сайте введите в браузере https://example.com/robots.txt (заменив example.com на адрес вашего сайта). Если файл существует, вы увидите его содержимое.

Если файла нет, то создайте его, используя текстовый редактор, после подключитесь к вашему серверу через FTP-клиент (видеоинструкция по работе →) или через файловый менеджер панели управления хостинга и добавьте файл robots.txt в корневую директорию сайта (обычно это public_html или www). Если вы не хотите, чтобы поисковые системы сканировали ваш сайт, то добавьте в файл правило ниже.

User-agent: *                #Закрываем весь сайт от всех роботов
Disallow: /

User-Agent: Yandex           #Закрываем от роботов Яндекс
Disallow: /

User-agent: GoogleBot        #Закрываем от роботов Гугл
Disallow: /

«Закрытие сайта только в robots.txt помогает лишь на 30%, поэтому для полноценного закрытия сайта используйте дополнительно методы ниже!»

Закрываем сайт через .htaccess

Файл .htaccess используется для настройки поведения веб-сервера Apache. С его помощью мы закроем доступ к сайту так, что роботам будет показываться код ответа 403.

1. Продолжая находиться в корневой директории сайта после редактирования robots.txt найдите файл .htaccess (не перепутайте названия). Если файл отсутствует, создайте его с помощью программы Notepad или Visual Studio Code и сохраните под именем .htaccess (обязательно с точкой в начале).
Важные замечания:

Всегда делайте резервную копию оригинального файла .htaccess перед внесением изменений.
Если что-то пошло не так (например, сайт перестал работать), удалите или закомментируйте новые строки, добавив перед ними #.

2. Добавьте правила для закрытия сайта вставив следующие строки в самое начало файла .htaccess. Важно добавить именно в начало файла, так как сервер обрабатывает правила сверху вниз.

Options +FollowSymLinks
RewriteEngine On
RewriteBase /

# Закрываем сайт от всех поисковых роботов
SetEnvIfNoCase User-Agent .*googlebot.* search_robot
SetEnvIfNoCase User-Agent .*yandex.* search_robot
SetEnvIfNoCase User-Agent .*mail.* search_robot
SetEnvIfNoCase User-Agent .*bingbot.* search_robot
SetEnvIfNoCase User-Agent .*baiduspider.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*parser.* search_robot
Deny from env=search_robot

Что делает этот код:

SetEnvIfNoCase User-Agent — определяет, какие боты будут заблокированы (например, googlebot, yandex, bingbot), указанные после данного правила.
Deny from env=search_robot — запрещает доступ ко всему сайту для агентов, попадающих под правило search_robot.

После добавления правил в файл обязательно проверьте какой код ответа получают роботы Яндекс и Google, для этого используйте сервис Bertal (как пользоваться программой →). Если вы всё сделали правильно, то вам отобразится 403 ответ (доступ к запрошенному ресурсу запрещён).

Остались вопросы?

Оставьте свой номер телефона и я отвечу на все вопросы

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Еще статьи по данной теме:

Что делать, если Screaming Frog не парсит сайт

Сканируем сайт, защищенный паролем в Screaming Frog

Как проверить скорость загрузки всех страниц на сайте

Проверка наличия счетчика Яндекс Метрики и Google Analytics на всех страницах сайта