Создаем sitemap.xml в Screaming Frog за 2 минуты

Чтобы создать карту нашего сайта в xml формате нам потребуется программа Screaming Frog и купленная лицензия. Перед тем, как создавать файл sitemap.xml вам нужно просканировать весь сайт, чтобы табло Crawl было заполнено на 100%.

Для создания карты сайта находим в меню пункт «sitemap» и выбираем «XML Sitemap».

В появившемся окне указываем параметры, которые будут добавлены в карту сайта. С помощью этих параметров мы можем исключить страницы, которые не должны попасть в sitemap. Страницы, которые заблокированы файлом robots.txt, установленным как noindex, были канонизированы (канонический URL-адрес отличается от URL-адреса страницы), разбиты на страницы (URL-адреса с rel = «prev») или PDF-файлы также не входит в стандартную комплектацию. Все это можно настроить самому.

По стандарту в файл добавляются только те страницы, которые имеют код ответа 200 (рабочие страницы).

В разделе Last Modified, который отвечает за дату последнего обновления ничего не меняем

В разделе priority можно указать поисковым системам важность url в определённой вложенности. Лично я ничего там не указываю, так как все страницы, добавленные в sitemap для нас важны.

Раздел “Change Frequency” (Частота изменения) позволяет указать Яндекс и Google как часто нужно индексировать те или иные страницы. Лично я также не указываю данный пункт, так как он не обязательный и является только подсказкой для поисковых систем. В случае с нашим сайтом информация на страницах может меняться как каждый день, так и раз в месяц.

Чтобы исключить появление мелких изображений, таких как логотип, иконки соц.сетей и так далее включаем в карту сайта только изображений с определенным количеством ссылок в вкладке “include only relevant Images with up to”.

Если на сайте есть изображения, которые подгружаются с помощью CDN, то ссылки на эти изображения указываем в большой выделенной области снизу. Если на сайте установлен атрибут hraflang, то вы можете выбрать добавление hreflang в XML Sitemap. Если у вас на сайте данных атрибутов нет, то в таком случае данный пункт пропускаем

После этого жмём “Export...” и получаем готовый файл Sitemap.xml, который останется сохранить в папку и добавить на сервер.