Как найти и убрать дубли страниц

Время чтения - 10 мин

Количество прочтений

2172

Дата публикации —
11 марта 2026

SEO-специалист Андрей Павлович

Андрей Павлович

Частный SEO-специалист и автор статьи

Ваш сайт теряет позиции в поиске, а вложенный в контент и ссылки бюджет не приносит результата? Частая причина - дубли страниц. Поисковые системы, такие как Google и Яндекс, видят несколько адресов (URL) с одинаковым или очень похожим содержимым (неявные дубли). Это запутывает робота, заставляет его тратить лимит сканирования (crawl budget) впустую и размывает ссылочный вес. В итоге страницы могут выпадать из индекса, а трафик - снижаться.

Screaming Frog SEO Spider - это профессиональная программа для технического аудита, которая позволяет быстро находить дубли страниц на сайте. Это мощный инструмент, который анализирует все страницы как поисковый бот.

Навигация по статье:

1. Настраиваем 301-редирект с старого домена на новый
2. Меняем адрес в Google Search Console
3. Настройка Яндекс Метрики
4. Переезд сайта в Яндекс Вебмастер
5. Заменить сайт в Google Analytics
6. Заменяем файл sitemap.xml
7. Добавить новый sitemap.xml в вебмастера
8. Заменить всё необходимое в robots.txt
9. Парсинг сайта в Screaming Frog и замена ссылок с 301 кодом на 200

Что такое дубли страниц и почему они опасны для SEO

Дубликат (или дубль) - это ситуация, когда один и тот же контент доступен по разным адресам (URL). Например:

site.ru/catalog/ и site.ru/catalog (со слешем и без).
site.ru/page и site.ru/page?utm_source=google (с UTM-метками).
HTTP и HTTPS версии одной страницы (зеркала).
Страницы пагинации (site.ru/catalog?page=2), которые могут дублировать основную.

Наличие дублей создает проблемы:

Конфликт индексации: Поисковый робот не знает, какую версию считать оригинальной (канонической). В выдачу может не попасть ни одна из страниц.
Пустой расход краулингового бюджета: Робот тратит время на сканирование копий вместо важных страниц.
Потеря ссылочного веса: Внешние и внутренние ссылки делятся между дублями, ослабляя оптимизацию целевой страницы.

Проблема

Хочу, чтобы SEO приносило заявки, а не пустые отчеты.

Решение

Без стратегии продвижение только забирает деньги и теряет смысл. SEO-консультация поможет навести порядок и сделать сайт источником продаж.

Подробнее о консультации →

Пошаговая инструкция по поиску дублей в Screaming Frog

В начале скачайте, установите и активируйте Screaming Frog.

Переходим в раздел «Configuration» → «Content» → «Duplicates»;
Убираем галочку напротив «Only check indexable pages for duplicates», чтобы выявить страницы дубли и удалить их (по возможности), чтобы правильно расходовать бюджет сканирования;
Ставим галочку в разделе «Enable Near Duplicates» - активирует функционал поиска неявных дубликатов;
Near duplicate similarity threshold (%) - От какого процента похожести считать страницы частичными дублями. Я рекомендую ставить 70%.

неявные дубли контента

Анализ результатов и экспорт списка

В правом меню во вкладке Crawl Data → Content вы увидите результаты по найденным дублям страниц.
Щелкните по любой группе, чтобы детальнее изучить список всех адресов (URL), которые в нее входят, и значение схожести.

дублирование контента

All - Вывод всех значений по страницам в одной вкладке;
Exact duplicates - дубли страниц, которые схожи друг с другом на 100%;
Near duplicates - страницы сайта с разными URL, которые очень сильно сходи друг с другом. В отличие от полных дублей, их текст не идентичен, но они либо имеют мало уникального контента, либо количество сквозных элементов на этих страницах больше, чем уникального текста;
Low content pages - Страницы имеющие <200 слов (не путать с символами);
Soft 404 pages - Страницы, которые отвечают кодом состояния «200», но выглядят как страницы с ошибкой (404);
Spelling errors - Страницы, содержащие орфографические ошибки;
Grammar errors - Страницы, содержащие грамматические ошибки;
Readability difficult - Текст на странице трудночитаем, содержит длинные предложения и сложные слова;
Readability very difficult - Текст на странице очень сложен для чтения и понимания;
Lorem ipsum placeholder - Страницы, на которых остался бессмысленный текст-заглушка. Не актуально для РФ сайтов, так как поиск производится по фразе «Lorem ipsum dolor».

Чтобы найти дубли страниц мы будем использовать вкладки «Exact duplicates» и «Near duplicates». Так как это важные вкладки, то разберем подробнее значение каждого из столбцов.

Как убрать дубли страниц: практические методы

SEO-специалист Андрей Павлович

💬 Из практики

Найдя дубли, необходимо провести их устранение. Вот основные способы, которые я использую на практике.

Расширенные возможности и интеграции

Screaming Frog - это инструмент с большим количеством функций.

Интеграция с Google Analytics и Search Console: Вы можете загрузить данные о трафике и позициях, чтобы видеть, какие дублирующие страницы занимают поисковый трафик.
Анализ мета-тегов: Во вкладке Page Titles и Meta Description легко найти дублирующиеся или слишком короткие заголовки.
Парсинг XML Sitemap: Программа может проанализировать файл sitemap.xml и проверить адреса из него.

Поиск и устранение дублированных страниц - важный этап технической оптимизации (SEO) для любого проекта. Screaming Frog позволяет автоматизировать этот кропотливый процесс, предоставляя специалисту или вебмастеру четкий список проблем для решения. Правильная настройка и регулярная проверка помогают улучшать видимость сайта в поисковых системах, эффективно распределять краулинговый бюджет и защищать ваш бизнес от потери трафика. Используйте этот мощный инструмент, чтобы ваш сайт работал на полную.

Основные вопросы

Подробный ответ давал у себя в telegram канале в данном посте - https://t.me/digitalalekzo/402

Остались вопросы?

Оставьте свой номер телефона и я отвечу на все вопросы

Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Cтатьи по данной теме:

Массово изменяем Title и Description на всех страницах производителей в 1С-Битрикс

Как удалить страницу из поиска Яндекс или Google

Как найти все страницы без картинок за 6 минут

Как проверить скорость загрузки всех страниц на сайте