Аудит

Robots.txt для 1С-Bitrix

Время чтения - 5 мин

Количество прочтений

6112

Дата публикации —
12 июня 2024

Андрей Павлович

Частный SEO-специалист и автор статьи

При создании и продвижении сайта на платформе 1C-Битрикс, важным шагом является настройка файла robots.txt. Этот небольшой, но крайне значимый файл помогает поисковым системам правильно индексировать ваш сайт, исключая ненужные страницы из индекса и ускоряя процесс продвижения.

И избежать вот такой картины на своем сайте

В этой статье мы рассмотрим готовый вариант robots.txt, оптимизированный для сайтов на 1C-Битрикс. Мы разберем его структуру и объясним, почему именно такой файл обеспечит безопасность сайта и улучшит его видимость в поисковых системах.

Как создать файл robots.txt в 1С-Битрикс

Перейдите в раздел "Маркетинг" в левой панели;
После открываем раздел "Поисковая оптимизация" → Настройка robots.txt
Переходим в раздел "Редактировать" ;
Заменяем старый правила на те, которые прописаны ниже ⏬
Сохраняем изменения

Подробный файл (отдельные правила для Google и Яндекс)


User-Agent: *
Disallow: /cgi-bin          # папка на хостинге
Disallow: /basket           # корзина
Disallow: /bitrix/          # папка с системными файлами битрикс
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикс
Disallow: /test/            # тестовая страница
Disallow: /*index.php$      # дубли страниц index.php
Disallow: /auth             # авторизация
Disallow: /personal/        # личный кабинет
Disallow: /*order           # корзина
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: /*login=          # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *display=         # страницы сортировки
Disallow: *linerow=         # вид расположения товаров
Disallow: *year=            # страницы статей по годам
Disallow: *action=          # действия
Disallow: *alfaction=       # сортировка
Disallow: *print=           # печать
Disallow: *?new=Y           # новая страница
Disallow: *?edit=           # редактирование
Disallow: *?preview=        # предпросмотр
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Disallow: *?arrFilter*
Disallow: *set_filter=       
Disallow: *oid=*            # GET-параметр, который может быть у ссылок на товары
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort=            # Страница сортировки
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*=             # ссылки с utm-метками
Disallow: *openstat=         # ссылки с метками openstat
Disallow: *from=             # ссылки с метками from
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: */feed             # все фиды (нужны больше для Яндекс)
Disallow: */rss               # rss фид (нужны больше для Яндекс)
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Disallow: */amp                    # Закрываем все AMP страницы (нужны только для Google)
Disallow: *amp=                    # Закрытие 2-го варианта реализации AMP страниц
Allow: */upload/                   # открываем папку с файлами uploads
Allow: /bitrix/*.js                # открываем скрипты вида /js/jquery.countdown.min.js?16
Allow: /local/*.js                 # открываем скрипты
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff

User-agent: GoogleBot       #Правила только для робота Google
Disallow: /cgi-bin
Disallow: /basket
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /test/
Disallow: /*index.php$
Disallow: /auth
Disallow: /personal/=
Disallow: /*order
Disallow: *register=
Disallow: *forgot_password=
Disallow: *change_password=
Disallow: /*login=
Disallow: *logout=
Disallow: */search/
Disallow: *display=
Disallow: *linerow=
Disallow: *year=
Disallow: *action=
Disallow: *alfaction=
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: *?FILTER*=
Disallow: *?arrFilter*
Disallow: *set_filter=       
Disallow: *oid=*
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort=
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: */feed
Disallow: */rss
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /local/*.js
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff

User-agent: Yandex          #Правила только для робота Яндекс
Disallow: /cgi-bin
Disallow: /basket
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /test/
Disallow: /*index.php$
Disallow: /auth
Disallow: /personal/
Disallow: /*order
Disallow: *register=
Disallow: *forgot_password=
Disallow: *change_password=
Disallow: /*login=
Disallow: *logout=
Disallow: */search/
Disallow: *display=
Disallow: *linerow=
Disallow: *year=
Disallow: *action=
Disallow: *alfaction=
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: *?FILTER*=
Disallow: *?arrFilter*
Disallow: *set_filter=       
Disallow: *oid=*
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort=
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Disallow: */amp
Disallow: *amp=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /local/*.js
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff

Sitemap: https://site.com/sitemap.xml       # Укажите ссылку на вашу карту сайта в формате xml

Не допускайте эти ошибки!

1. Прописывать Sitemap после каждого User-agent
Согласно стандарту, Sitemap нужно указывать всего один раз в конце файла robots.txt.

2. Использовать правила только для User-agent: *
Так как для Яндекс rss и feed должны быть открыты, но закрыты для остальных поисковых систем, а для Google обязательно нужно открывать AMP страницы, но закрывать для остальных поисковых систем. Поэтому без отдельных правил не обойтись!

3. Прописывать Crawl-Delay
Это популярное правило, но использовать его стоит только при необходимости. Если ваш сайт небольшой и визиты роботов не создают большой нагрузки на сервер, то нет смысла ограничивать время их посещения просто так.

4. Добавлять директиву host
Уже давно было анонсировано, что директива host в файле больше не нужна. Если вам нужно указать основной домен, то всё это делается в панелях Вебмастеров.

Как проверить файл robots.txt после внесения изменений

После того как вы настроили файл robots.txt для сайта на 1C-Битрикс, важно убедиться, что он работает правильно и не блокирует важные страницы для индексации поисковыми системами. Для этого следуйте следующим рекомендациям:

Для проверки robots.txt для Google: зайдите в Google Search Console → Перейдите в раздел "Инструменты и отчеты" → "Файл robots.txt" → Введите URL страницы, которую хотите проверить, и убедитесь, что она либо допускается к индексации, либо правильно блокируется

Для проверки Яндексботом: заходим в Яндекс.Вебмастер → перейдите в раздел "Анализ robots.txt" → Проверьте, как робот Яндекса видит ваш файл и страницы, которые подлежат индексации

«Если после проверки robots.txt через панели вебмастеров поисковых систем не возникает ошибок и важные страницы допускаются к индексации, файл настроен корректно.»

Остались вопросы?

Оставьте свой номер телефона и я отвечу на все вопросы

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Еще статьи по данной теме:

Robots.txt для WordPress

Что делать, если Screaming Frog не парсит сайт

Как проверить скорость загрузки всех страниц на сайте

Проверка наличия счетчика Яндекс Метрики и Google Analytics на всех страницах сайта