Самостоятельная настройка защиты от негативного ботного трафика CloudFlare

Для того, чтобы поставить защиту CloudFlare (CF) на сайт для борьбы с негативным ботным трафиком, потребуется пройти следующие этапы ⏬

💡 Инструкцию следует использовать в следующих случаях:
- на вашем сайте прослеживается резкий всплеск прямых переходов, а после детального анализа статистики по ресурсу, вы делаете заключение о накрутке поведенческих факторов с помощью ботов;
- сайт получает трафик из стран, с которых его не должно быть, например, компания работает по Минску (Беларусь), а увеличилось количество переходов из Германии или Казахстана;
- на ресурсе есть лимиты по обращениям к API (например, 10 000 ежедневно) и их нужно расходовать разумно, ограничивая подозрительные IP-адреса, краулеры, поисковых ботов и другое.

Все вышеперечисленные проблемы поможет решить установка Cloudflare по данному документу.

❗  Если вы не уверены в том, что у вас на сайте происходит накрутка поведенческих факторов, ваш проект имеет плавающую региональность (бизнес работает с иностранными партнерами, выполняет доставку товаров по всему СНГ) ставить защиту по данной инструкции не рекомендуется. Так как это может отсечь потенциальный хороший трафик, уменьшить количество заявок!

Есть два варианта для решения данной задачи:

• выполнить запрос почтового ящика у клиента;
• самостоятельное создание почты.

Рекомендовано воспользоваться вторым вариантом. Созданную почту можно параллельно использовать для регистрации сайта в бесплатных каталогах, социальных сетях и отзовиках!

Если вам нужна электронная почта без привязки номера телефона, можете создать ее в Mail.ru.

Все предельно просто:

1. Переходим на данную страницу: https://www.cloudflare.com/plans/
2. Выбираем бесплатный тариф, щелкая на кнопку "Add a Website".

3. Выполняем процесс регистрации.

1. Переходим в пункт "Websites". Добавляем новый проект, щёлка на кнопку "Get started".

2. Вводим наименование домена, на который устанавливаем защиту.

3. Далее делаем выбор в сторону бесплатного тарифа Cloudflare - "Free".

4. После создания проекта в CF выполняется автоматическая подгрузка DNS-записей вашего сайта. Располагаются эти данные в "DNS" - "Records".

Пролистываем данную страницу до пункта "Cloudflare Nameservers".

Данные наименования DNS-зон (DNS серверы) нужно скопировать и добавить на хостинге вашего сайта. Все остальные следует удалить!

5. После настройки DNS серверов, возвращаемся в Cloudflare - "Overview". Переходим к пункту "3. Update your nameservers". Отправляем CF на быструю проверку изменений DNS-зон:

6. Далее выполняем настройку SSL/TLS. В "Overview" выставляем режим "Full (strict)".

7. А в "SSL/TLS" - "Edge Certificates" разрешаем функцию "Always Use HTTPS".

8. Теперь следует дождаться письма, которое придет на зарегистрированную электронную почту, с информацией о запуске Cloudflare. Обычно, активация происходит в течение 1-2 часов.

Содержание письма имеет следующий вид:

Получив такое сообщение, можно со спокойной душой приступать к формированию тонких настроек защиты (правил)!

💡  Дополнительная информация. Обновление DNS занимает до 1-2 часов по территории Республики Беларусь, глобальное обновление до 24-48 часов.

1. Переходим в раздел "Security" - "WAF". Щелкаем на кнопку "Create rule".

2. Создаем первое правило-разрешение для хороших ботов из базы Cloudflare – “Allow Good Bots”. Вводим параметры, указанные на скриншотах ниже:

После заполнения всех параметров, запускаем правило с помощью кнопки “Deploy”.

3. Создаем второе правило – блокировка пользователей из определенных регионов – “Block GEO”.

Чтобы грамотно принять решение о том, нужно ли вам на сайте данное правило или нет, проанализируйте показатели Яндекс Метрики. Например, в случае с проектом выше был выполнен анализ периода резкого увеличения прямых переходов на сайт.
В отчете “География” с настройками: детализация (по неделям), данные (без роботов), выборка (100%) – дополнительно добавляется “Тип источника” (прямые заходы):

После этого на графике виден “подозрительный трафик” из России (хотя сайт продвигается на РБ), который появился и исчез неожиданно.

Это явный символизм нагула ботов. Значит формируем правило для ограничения входа на сайт из российского региона. Выглядит настройка следующим образом: