При продвижении сайтов или проведении аудита часто часто возникают ситуации, в которых нужно удалить страницу из поиска Google или Яндекс. URL с Get-параметром может случайно попасть в выдачу или его информация может потерять актуальность. Чтобы очистить поиск от ненужных страниц, существует несколько способов, которые мы рассмотрим.
Чтобы страница была удалена из индекса, нужно закрыть её с помощью специального тега, который должен находиться в <head> данной страницы.
<meta name="robots" content="noindex, follow">
Этот тег указывает поисковым системам не индексировать страницу, что приведет к её исключению из результатов поиска в течение пары недель.
2. Откройте страницу в robots.txt
Удаляемая страница должна быть обязательно открыта для роботов в файле robots.txt, иначе робот Яндекс и Google не сможет посетить её и обнаружить указание, что страницу из нужно удалить из выдачи.
«robots.txt отвечает за запрет сканирования, поэтому если добавить запрет в файле, то поисковые роботы не смогут на неё зайти»
О том как быстро проверить открыта ли страница в robots.txt я рассказывал в данном видео. Проверьте удаляемые страницы, чтобы они были:
Закрыты в noindex;
Открыты в robots.txt
После того, как страница будет удалена из поиска вы можете закрыть её в robots.txt, чтобы сообщить поисковым роботам о том, что эту страницу не нужно сканировать.
3. Убрать данные страницы из файла sitemap.xml
Страниц, которые вы планируете удалить из поисковой выдачи не должно быть в файле sitemap.xml.
Как удалить страницы из поиска Яндекс
Переходим в Яндекс Вебмастер → Инструменты → Удаление страниц из поиска → Выбираем вкладку "По URL" → Вводим список страниц (до 500 url в сутки) → Удалить
Удаление страницы не гарантирует, что Яндекс исключит её из поиска! Чтобы убедиться в том, что страницы больше нет в поисковой выдачи вернитесь в инструмент через 3-5 дней, чтобы изучить статусы.
Статус;Описание
Обрабатывается;Робот проверяет ответ сервера и наличие запрета на индексирование страницы.
Отклонено;Чаще всего связано с тем, что страница не закрыта в noindex или стоит запрет на сканирование страницы в robots.txt
Удалена;Страница удалена из выдачи Яндекс
Как удалить страницы из Google
Для малого числа страниц
Переходим в Google Search Console → выбираем нужный сайт → удаления → временные удаления
Чтобы передать страницу на удаление, нажмите на красную кнопку «Создать запрос» → в появившемся окне выберите "Временное удаление URL".
Добавьте URL на удаление и выберите тип действия: 1. Удалить только этот url - больше нужен для удаления дублей страниц с www, http и прочего; 2. Удалить все url с этим префиксом - выбирайте данный вариант, если хотите удалить все варианты страницы (с префиксом http или https, с www или без).
В результате вам отобразится окно с уточнением запроса, в котором вам нужно всё перепроверить и нажать "Отправить запрос". Если все прошло успешно, страница добавится в общий список запросов со статусом «Запрос обрабатывается».
Чтобы удалить запрос, нажмите на троеточие справа от статуса и выберите "Отменить запрос".
После запроса на удаление поисковый бот просканирует данные страницы (если они не закрыты в robots.txt) и если они закрыты meta-тегом или имеют отличный от 200 код ответа сервера, то данные страницы будут удалены.
Остались вопросы?
Оставьте свой номер телефона и я отвечу на все вопросы
Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности