«Далее браузер сам подставит текущий домен к ссылке. Если поисковый робот попадет на site.ru, ссылка откроется как site.ru/about, если на домен на кириллице сайт.рф, то будет ссылка сайт.рф/about.»
# Правило ниже закрывает домен на латинице от всех поисковых роботов, кроме Google
## Замените site.ru на свой домен
RewriteCond %{HTTP_HOST} ^(www\.)?site\.ru$ [NC]
RewriteCond %{HTTP_USER_AGENT} (yandex|mail\.ru|bingbot|baiduspider|yahoo|slurp|parser) [NC]
RewriteRule ^ - [F,L] # Редирект для Googlebot, который отправляет бота с кириллического домена на латиницу (для всех страниц). Обратите внимание - кириллический домен должен быть в формате Punycode.
RewriteCond %{HTTP_USER_AGENT} (googlebot|google-inspectiontool) [NC]
RewriteCond %{HTTP_HOST} ^(www\.)?домен-в-unicode\.xn--p1ai$ [NC]
RewriteRule ^(.*)$ https://site.ru/$1 [R=301,L] # Редирект для Yandexbot, c латиницы (site.ru) на кириллицу (домен.рф)
RewriteCond %{HTTP_USER_AGENT} yandex [NC]
RewriteCond %{HTTP_HOST} ^(www\.)?site\.ru$ [NC]
RewriteRule ^(.*)$ https://xn--....\.xn--p1ai/$1 [R=301,L]