Все возможные методы закрытия сайта от индексации

Время чтения - 10 мин

Количество прочтений

8972

Дата редактирования —
27 апреля 2025

На этапе разработки сайта, редизайна или работы с тестовыми версиями особенно важно предотвратить попадание незавершённого или временного контента в поиск. Чтобы этого избежать, на 100% существует несколько эффективных методов, которые я разобрал в этой статье. Ниже вы узнаете как и когда применять каждый из них, чтобы защитить ваш и не дать роботам зайти на него.

Методы закрытия сайта от индексации:

1. Метатег noindex, nofollow
2. Файл robots.txt
3. Файл .htaccess
4. Заголовок X-Robots-Tag

Как закрыть сайт от индексации

1. Запрет индексации с помощью meta-тега

Metaтеги noindex и nofollow — это отличный, но вспомогательный метод запрета индексации страницы или сайта в целом. Никогда не полагайтесь только на один способ! Как показывает мой опыт работы в SEO, лучший результат даёт комплексное закрытие через meta-тег robots.txt, .htaccess (об этом ниже).

Важно понимать: мета-тег — это команда для робота на уровне страницы, а не сервера. То есть роботы всё равно смогут обойти и увидеть сайт, но не будет добавлять его в индекс.

Для закрытия страницы откройте HTML-код нужной страницы или общий файл, который отвечает за вывод блока <head>, если вы хотите закрыть весь сайт.
Вставьте в раздел <head> один из следующих кодов:

<meta name="robots" content="noindex, nofollow">       #Для закрытия от всех роботов

<meta name="yandex" content="noindex, nofollow">       #Закрываем от индексации в Яндекс

<meta name="googlebot" content="noindex, nofollow">    #Закрываем от индексации в Google

Что делает этот код:
noindex — запрещает индексировать страницу.
nofollow — запрещает переходить по ссылкам на странице.

💬 Из практики

Не поверите, сколько раз я находил проекты, где при редизайне забывали убрать этот meta-тег, и потом сайт неделями не индексировался после запуска. Поэтому всегда проверяйте наличие тега перед публикацией!

2. Запрет сканирования в robots.txt

robots.txt – текстовый файл, расположенный в корневой директории сайта, который говорит поисковым системам (далее ПС) о том, какие файлы и папки нельзя сканировать (посещать их). С его помощью можно запретить обход всего сайта, отдельных страниц или файлов.

«Robots.txt – это лишь рекомендация и часто краулеры ПС могут игнорировать этот файл.»

Чтобы проверить наличие файла на сайте введите в браузере https://example.com/robots.txt (заменив example.com на адрес вашего сайта). Если файл существует, вы увидите его содержимое.

Если файла нет, то создайте его, используя текстовый редактор, после подключитесь к вашему серверу через FTP-клиент (видеоинструкция по работе →) или через файловый менеджер панели управления хостинга и добавьте файл robots.txt в корневую директорию сайта (обычно это public_html или www). Если вы не хотите, чтобы поисковые системы сканировали ваш сайт, то добавьте в файл правило ниже.

User-agent: *                #Закрываем весь сайт от всех роботов
Disallow: /

User-Agent: Yandex           #Закрываем от роботов Яндекс
Disallow: /

User-agent: GoogleBot        #Закрываем от роботов Гугл
Disallow: /

«Закрытие сайта только в robots.txt помогает лишь на 30%, поэтому для полноценного закрытия сайта используйте дополнительно методы ниже!»

3. Закрываем сайт через .htaccess

Файл .htaccess используется для настройки поведения веб-сервера Apache. С его помощью мы закроем доступ к сайту так, что роботам будет показываться код ответа 403.

1. Продолжая находиться в корневой директории сайта после редактирования robots.txt найдите файл .htaccess (не перепутайте названия). Если файл отсутствует, создайте его с помощью программы Notepad или Visual Studio Code и сохраните под именем .htaccess (обязательно с точкой в начале).
Важные замечания:

Всегда делайте резервную копию оригинального файла .htaccess перед внесением изменений.
Если что-то пошло не так (например, сайт перестал работать), удалите или закомментируйте новые строки, добавив перед ними #.

2. Добавьте правила для закрытия сайта вставив следующие строки в самое начало файла .htaccess. Важно добавить именно в начало файла, так как сервер обрабатывает правила сверху вниз.

Options +FollowSymLinks
RewriteEngine On
RewriteBase /

# Закрываем сайт от всех поисковых роботов
SetEnvIfNoCase User-Agent .*googlebot.* search_robot
SetEnvIfNoCase User-Agent .*yandex.* search_robot
SetEnvIfNoCase User-Agent .*mail.* search_robot
SetEnvIfNoCase User-Agent .*bingbot.* search_robot
SetEnvIfNoCase User-Agent .*baiduspider.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*parser.* search_robot
Deny from env=search_robot

Что делает этот код:

SetEnvIfNoCase User-Agent — определяет, какие боты будут заблокированы (например, googlebot, yandex, bingbot), указанные после данного правила.
Deny from env=search_robot — запрещает доступ ко всему сайту для агентов, попадающих под правило search_robot.

После добавления правил в файл обязательно проверьте какой код ответа получают роботы Яндекс и Google, для этого используйте сервис Bertal (как пользоваться программой →). Если вы всё сделали правильно, то вам отобразится 403 ответ (доступ к запрошенному ресурсу запрещён).

4. Использование заголовка X-Robots-Tag

X-Robots-Tag — это специальный HTTP-заголовок, отправляемый сервером в ответом на запрос к странице. Он говорит поисковикам, нужно ли индексировать страницу или нет.

Чтобы закрыть сайт от индексации с помощью X-Robots-Tag, нужно на уровне сервера или кода сайта настроить отправку данного заголовка 👇 для всех страниц.

X-Robots-Tag: noindex, nofollow

Также с помощью использования скриптов можно настроить отложенное закрытие сайта от индексации. Для примера берем сайт на Wordpress CMS и вставляем код ниже в самое начало файла functions.php (именно активной темы).

add_action('send_headers', function() {
    $now = new DateTime();
    $cutoff = new DateTime('2025-05-27 00:00:00'); // Укажите здесь свою дату, когда сайт должен быть закрыт

    if ($now >= $cutoff) {
        header('X-Robots-Tag: noindex, nofollow', true);
    }
});

После добавления скрипта очистите кэш сайта и проверьте заголовки через curl или инструменты разработчика в браузере.

Этот код позволяет сайту работать в обычном режиме до указанной даты, после чего сервер начнёт автоматически отправлять заголовок X-Robots-Tag: noindex, nofollow для всех страниц, и поисковые системы постепенно начнут удалять их из индекса.

Остались вопросы?

Оставьте свой номер телефона и я отвечу на все вопросы

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Cтатьи по данной теме:

Как удалить страницу из поиска Яндекс или Google

Robots.txt для 1С-Bitrix

Самостоятельная настройка защиты от негативного ботного трафика CloudFlare

Robots.txt для WordPress