SEO-оптимизация

Самостоятельная настройка защиты от негативного ботного трафика CloudFlare

Время чтения - 20 мин
Количество прочтений
1846
Дата публикации —
24 июня 2024

Введение

Для того, чтобы поставить защиту CloudFlare (CF) на сайт для борьбы с негативным ботным трафиком, потребуется пройти следующие этапы ⏬
💡 Инструкцию следует использовать в следующих случаях:
- на вашем сайте прослеживается резкий всплеск прямых переходов, а после детального анализа статистики по ресурсу, вы делаете заключение о накрутке поведенческих факторов с помощью ботов;
- сайт получает трафик из стран, с которых его не должно быть, например, компания работает по Минску (Беларусь), а увеличилось количество переходов из Германии или Казахстана;
- на ресурсе есть лимиты по обращениям к API (например, 10 000 ежедневно) и их нужно расходовать разумно, ограничивая подозрительные IP-адреса, краулеры, поисковых ботов и другое.

Все вышеперечисленные проблемы поможет решить установка Cloudflare по данному документу.
Реальный результат на одном из проектов
Реальный результат на одном из проектов
❗  Если вы не уверены в том, что у вас на сайте происходит накрутка поведенческих факторов, ваш проект имеет плавающую региональность (бизнес работает с иностранными партнерами, выполняет доставку товаров по всему СНГ) ставить защиту по данной инструкции не рекомендуется. Так как это может отсечь потенциальный хороший трафик, уменьшить количество заявок!
ВАЖНО! Вы должны понимать (или предупредить клиента) о падении трафика, так как "негативные визиты" будут отсекаться Cloudflare. Вследствие статистика по переходам на сайт изменится, но установка CF отрицательно не повлияет на продажи и заявки!

Этапы выполнения

1. Регистрация электронной почты

Есть два варианта для решения данной задачи:
  • выполнить запрос почтового ящика у клиента;
  • самостоятельное создание почты.
Рекомендовано воспользоваться вторым вариантом. Созданную почту можно параллельно использовать для регистрации сайта в бесплатных каталогах, социальных сетях и отзовиках!

ВАЖНО! Обычно, для всех электронных ящиков требуется привязка к номеру мобильного телефона. Следует это учитывать, так как при ситуациях, когда проект встает на паузу или клиент уходит, нужно будет передать все доступы.

Если вам нужна электронная почта без привязки номера телефона, можете создать ее в Mail.ru.
Configuration User-Agent

2. Регистрация на платформе CloudFlare

Все предельно просто:

  1. Переходим на данную страницу: https://www.cloudflare.com/plans/
  2. Выбираем бесплатный тариф, щелкая на кнопку "Add a Website".
Configuration User-Agent
3. Выполняем процесс регистрации.
Configuration User-Agent

ВАЖНО! После того, как вы зарегистрировались, обязательно проверьте электронную почту. На нее придет письмо, в котором вам следует подтвердить регистрацию в CloudFlare.

3. Добавление сайта в Cloudflare для дальнейшей настройки

1. Переходим в пункт "Websites". Добавляем новый проект, щёлка на кнопку "Get started".
Configuration User-Agent
2. Вводим наименование домена, на который устанавливаем защиту.
Configuration User-Agent
3. Далее делаем выбор в сторону бесплатного тарифа Cloudflare - "Free".
Configuration User-Agent
4. После создания проекта в CF выполняется автоматическая подгрузка DNS-записей вашего сайта. Располагаются эти данные в "DNS" - "Records".
Configuration User-Agent
Пролистываем данную страницу до пункта "Cloudflare Nameservers".
Configuration User-Agent
Данные наименования DNS-зон (DNS серверы) нужно скопировать и добавить на хостинге вашего сайта. Все остальные следует удалить!
ВАЖНО! У каждого хостер-провайдера смена наименования DNS серверов происходит по-разному. Поэтому если вы не нашли данный функционал самостоятельно, то следует обратиться в техническую поддержку хостинга!
А если нашли и приняли решение самостоятельно поправить DNS-сервера, то сохраните названия старых DNS-зон, чтобы в случае форсмажора вернуть все, как было.
Алгоритм настройки Cloudflare для хостер-провайдера hoster.by
Configuration User-Agent
Configuration User-Agent
Алгоритм настройки Cloudflare для ActiveCloud
ВАЖНО! В течение 1-2 часов сайт может быть недоступен для пользователей. Поэтому рекомендуется выполнять настройку защиты в выходной день.
5. После настройки DNS серверов, возвращаемся в Cloudflare - "Overview". Переходим к пункту "3. Update your nameservers". Отправляем CF на быструю проверку изменений DNS-зон:
Configuration User-Agent
6. Далее выполняем настройку SSL/TLS. В "Overview" выставляем режим "Full (strict)".
Configuration User-Agent
7. А в "SSL/TLS" - "Edge Certificates" разрешаем функцию "Always Use HTTPS".
Configuration User-Agent
8. Теперь следует дождаться письма, которое придет на зарегистрированную электронную почту, с информацией о запуске Cloudflare. Обычно, активация происходит в течение 1-2 часов.
Содержание письма имеет следующий вид:
Configuration User-Agent
Получив такое сообщение, можно со спокойной душой приступать к формированию тонких настроек защиты (правил)!
ВАЖНО! В случае если что-то пошло не так - без паники. Возвращаем старый DNS-сервера на место и ожидаем около 1-2 часов.
💡  Дополнительная информация. Обновление DNS занимает до 1-2 часов по территории Республики Беларусь, глобальное обновление до 24-48 часов.

4. Создание правил для защиты сайта

1. Переходим в раздел "Security" - "WAF". Щелкаем на кнопку "Create rule".
Configuration User-Agent
💡 Дополнительная информация. Порядок создания правил крайне важен! Поэтому первое, что следует сделать, разрешить хорошим ботом обходить сайт.
2. Создаем первое правило-разрешение для хороших ботов из базы Cloudflare – “Allow Good Bots”. Вводим параметры, указанные на скриншотах ниже:
Configuration User-Agent
ВАЖНО! Не все для нас привычные и хорошие User Agent известны CF. Например, бота Mail.RU он не знает, а значит не пустит его на сайт. Поэтому через оператор “Or”, условие “Equals” (равный, равно) по отдельности добавляются User Agent.
Configuration User-Agent
После заполнения всех параметров, запускаем правило с помощью кнопки “Deploy”.
3. Создаем второе правило – блокировка пользователей из определенных регионов – “Block GEO”.
Чтобы грамотно принять решение о том, нужно ли вам на сайте данное правило или нет, проанализируйте показатели Яндекс Метрики. Например, в случае с проектом выше был выполнен анализ периода резкого увеличения прямых переходов на сайт.
В отчете “География” с настройками: детализация (по неделям), данные (без роботов), выборка (100%) – дополнительно добавляется “Тип источника” (прямые заходы):
Configuration User-Agent
После этого на графике виден “подозрительный трафик” из России (хотя сайт продвигается на РБ), который появился и исчез неожиданно.
Configuration User-Agent
Configuration User-Agent
Это явный символизм нагула ботов. Значит формируем правило для ограничения входа на сайт из российского региона. Выглядит настройка следующим образом:
Configuration User-Agent
💡 Дополнительная информация. Для проверки правила “Block GEO” рекомендуется воспользоваться VPN. Выбрать IP-адрес заблокированного региона и попробовать зайти на сайт. У вас должна отобразится подобная картина:
Configuration User-Agent
ВАЖНО! Данное правило нужно использовать с осторожностью! В случае продвижения сайта на несколько регионов (стран), выполняйте анализ региональности трафика детальнее, чтобы не отсечь потенциальных клиентов.
💡 Дополнительная информация. Чтобы отключить правило нужно “переключить рубильник”, а если наглядно в CF:
Configuration User-Agent
4. Создаем третье правило – показываем капчу всем, кто приходит к нам по IPv6 или HTTP – “IPV6 | HTTP”.
В регионе СНГ интернет-протокол IPv6 нового поколения крайне не распространен. Поэтому логичнее его перепроверять на “подозрительные переходы” с капчей.
Подключение по HTTP протоколу в принципе не безопасно. Поэтому проверяем и его!
Основные параметры правила:
5. Создаем четвертое правило – JS проверка для прямых заходов и обращений с протоколов версии ниже HTTP/2 – “HTTP | Direct”.
В данном правиле фильтруем всех, кто использует HTTP 1 и HTTP 1.1 протоколы. Чаще всего это ПФ боты (прогрев профилей).
Блокируем их следующим правилом:
6. 🎉 И вуаля! Защита Cloudflare установлена на сайт!
Теперь остается отслеживать статистику в CF и ЯМ, чтобы удостоверится, что правила прописаны правильно и работают как надо.
ВАЖНО! Если же вам требуется формирование дополнительных настроек, например, для крупных сайтов с целью снижения нагрузки блокируются парсеры, то данное правило можно обнаружить в данной статье: https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov

Заключение

В этой инструкции описаны базовые правила настройки Cloudflare для любого сайта.
Надеюсь, что с их помощью вы сможете смело и успешно оборонять ваш сайт от нежелательных визитов!
Остались вопросы?
Оставьте свой номер телефона и я отвечу на все вопросы
Нажимая на кнопку, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Еще статьи по данной теме:

Made on
Tilda