Аудит

Robots.txt для WordPress

Время чтения - 5 мин
Количество прочтений
6112
Дата публикации —
12 июня 2024
Приветствую всех владельцев сайтов на WordPress! Если вы хотите, чтобы ваш сайт был максимально дружелюбен для поисковых систем, то вам обязательно нужно правильно настроить файл robots.txt. Этот маленький файл может значительно повлиять на видимость вашего сайта в поисковой выдаче, помогая поисковым роботам лучше ориентироваться на вашем сайте.

В этой статье мы не будем углубляться в теорию и рассказывать, что такое файл robots.txt. Вместо этого, я поделюсь с вами готовым примером файла robots.txt, специально адаптированным для сайтов на WordPress. Вы сможете просто скопировать и вставить его на ваш сайт.

Как создать файл robots.txt

  1. Создайте обычный текстовый документ (с окончанием .txt);
  2. Назовите его "robots" и нажмите Enter (в результате у вас должен получиться файл вида robots.txt);
  3. В данный файл скопируйте и вставьте правила, которые прописаны ниже ⏬
  4. Загрузите готовый файл в корень сайта.

«Помните, что файл должен называться именно robots.txt, иначе поисковые системы его не распознают и не смогут использовать указанные инструкции»

Подробный файл (отдельные правила для Google и Яндекс)


User-agent: *                      # Общие правила для всех роботов, кроме тех, которые указаны ниже
Disallow: /wp-
Disallow: /wp/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*orderby
Disallow: /cgi-bin                 # Папка на хостинге
Disallow: /wp-admin
Disallow: *preview_id
Disallow: */feed                   # все фиды (нужны больше для Яндекс)
Disallow: */rss                    # rss фид (нужны больше для Яндекс)
Disallow: */wp-json/
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *product_view=
Disallow: *yandex-source=
Disallow: *preview=                # Просмотр страницы из административной панели
Disallow: /*view_result=           # Страницы с параметром просмотра
Disallow: *escaped_fragment
Disallow: *debug=
Disallow: *semalt_com
Disallow: *back=
Disallow: *page_id=
Disallow: *unapproved=
Disallow: *customize_changeset*
Disallow: *s=                      # Закрывает результаты поиска
Disallow: /search/                 # Закрывает результаты поиска
Disallow: */trackback       	   # трекбеки, уведомления в комментариях о появлении открытой ссылки на статью
Disallow: *v=
Disallow: /access.log
Disallow: /plugins
Disallow: *attachment_id=*         # Мусорные страницы attachment (рекомендую вовсе их удалять)
Disallow: /*add-to-cart=*          # URL после добавления товара в корзину
Disallow: /*attribute*
Disallow: /cart/*                  # Корзина v1
Disallow: *checkout                # Корзина v2
Disallow: /korzina/*               # Корзина v3
Disallow: /rpjou/*
Disallow: /blnoer/*
Disallow: /*my-account             # Личный кабинет
Disallow: *ordr=                   # Сортировка по дате добавления
Disallow: *openstat=               # Закрывает страницы с метками Openstat
Disallow: *ref=                    # Реферальные ссылки
Disallow: *utm*=                   # Ссылки с utm-метками
Disallow: *etext=                  # Рекламная метка
Disallow: *fbclid=                 # UML-метка (переходы на страницу из Facebook)
Disallow: *source=
Disallow: /*from*
Disallow: /*gclid*                 # Ссылки с метками
Disallow: /*yclid*                 # Ссылки с метками
Disallow: /amp/                    # Закрываем все AMP страницы (нужны только для Google)
Allow: /wp-admin/*.php
Allow: /wp-content/*.css           # открываем js-скрипты
Allow: /wp-content/*.js            # открываем css-файлы
Allow: /wp-content/*.png           # открываем png картинки
Allow: /wp-content/*.jpg           # открываем jpg картинки
Allow: /wp-content/*.gif           # открываем гифки
Allow: /wp-content/*.pdf           # открываем pdf файлы

User-agent: GoogleBot              #Правила только для робота Google
Disallow: /wp-
Disallow: /wp/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*orderby
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: *preview_id
Disallow: */feed
Disallow: */rss
Disallow: */wp-json/
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *back=
Disallow: *unapproved=
Disallow: *customize_changeset*
Disallow: *s=
Disallow: /search/
Disallow: */trackback
Disallow: *v=
Disallow: /access.log
Disallow: /plugins
Disallow: /*?attribute*
Disallow: /cart/*
Disallow: *checkout
Disallow: /korzina/*
Disallow: *product_view=
Disallow: *yandex-source=
Disallow: *ref=
Disallow: *preview=
Disallow: *escaped_fragment
Disallow: *debug=
Disallow: /*my-account
Disallow: *ordr=
Disallow: *openstat=
Disallow: /*utm*
Disallow: *etext=
Disallow: *fbclid=
Disallow: *source=
Disallow: /*from*
Disallow: /*gclid*
Disallow: /*yclid*
Allow: /wp-admin/*.php
Allow: /wp-content/*.css
Allow: /wp-content/*.js
Allow: /wp-content/*.png
Allow: /wp-content/*.jpg
Allow: /wp-content/*.gif   
Allow: /wp-content/*.pdf

User-agent: Yandex                  #Правила только для робота Яндекс
Disallow: /wp-
Disallow: /wp/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*orderby
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: *preview_id
Disallow: */wp-json/
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *product_view=
Disallow: *yandex-source=
Disallow: *ref=
Disallow: *preview=
Disallow: *escaped_fragment
Disallow: *debug=
Disallow: *semalt_com
Disallow: *back=
Disallow: *unapproved=
Disallow: *customize_changeset*
Disallow: *s=
Disallow: /search/
Disallow: */trackback
Disallow: *v=
Disallow: /access.log
Disallow: /plugins
Disallow: *?attachment_id=*
Disallow: /*?*add-to-cart=*
Disallow: /*?attribute*
Disallow: /cart/*
Disallow: *checkout
Disallow: /korzina/*
Disallow: /rpjou/*
Disallow: /blnoer/*
Disallow: /*my-account
Disallow: *ordr=
Disallow: *openstat=
Disallow: /*utm*
Disallow: *fbclid= 
Disallow: *etext=
Disallow: *source=
Disallow: /*from*
Disallow: /*gclid*
Disallow: /*yclid*
Disallow: /amp/
Allow: /wp-admin/*.php
Allow: /wp-content/*.css
Allow: /wp-content/*.js
Allow: /wp-content/*.png
Allow: /wp-content/*.jpg
Allow: /wp-content/*.gif   
Allow: /wp-content/*.pdf

Sitemap: https://site.com/sitemap.xml       # Укажите ссылку на вашу карту сайта в формате xml

Не допускайте эти ошибки!

1. Прописывать Sitemap после каждого User-agent
Согласно стандарту, Sitemap нужно указывать всего один раз в конце файла robots.txt.

2. Использовать правила только для User-agent: *
Так как для Яндекс rss и feed должны быть открыты, но закрыты для остальных поисковых систем, а для Google обязательно нужно открывать AMP страницы, но закрывать для остальных поисковых систем. Поэтому без отдельных правил не обойтись!

3. Прописывать Crawl-Delay
Это популярное правило, но использовать его стоит только при необходимости. Если ваш сайт небольшой и визиты роботов не создают большой нагрузки на сервер, то нет смысла ограничивать время их посещения просто так.

4. Добавлять директиву host
Уже давно было анонсировано, что директива host в файле больше не нужна. Если вам нужно указать основной домен, то всё это делается в панелях Вебмастеров.

Где находится robots.txt WordPress

В WordPress файл robots.txt обычно находится в корневой директории сайта, где расположены такие файлы, как wp-config.php и index.php. Если используется плагин для SEO (например Yoast SEO), то файл может быть сгенерирован плагином и управляться через его настройки.

Для проверки файла можно перейти по адресу https://site.com/robots.txt (site.com замените на свой домен) в браузере или найти его через FTP/файловый менеджер (обычно в папке public.html. Если файл отсутствует, его нужно создать и загрузить в корневую директорию.

Не допускайте эти ошибки!

Остались вопросы?
Оставьте свой номер телефона и я отвечу на все вопросы
Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Еще статьи по данной теме:

Made on
Tilda