Punycode: как кириллический домен превращается в xn-- и что настроить владельцу сайта

Коротко: что такое Punycode и зачем он нужен владельцу сайта с кириллическим доменом

Punycode — это способ записать название на любом языке (с кириллицей, иероглифами, диакритикой) только латинскими буквами, цифрами и дефисом, из которых умеют состоять имена в системе DNS. Именно так работают домены вроде пример.рф: в адресной строке вы видите кириллицу, а в DNS, письмах и многих логах домен записан как xn--e1afmkfd.xn--p1ai. Префикс xn-- отличает такие метки, а остальная часть — закодированное имя.

Чтобы не запутаться, полезно разделять три понятия (по стандартам RFC 3492 и UTS #46):

1. Punycode — «транспортное» кодирование: обратимо превращает Unicode-строку в ASCII-строку. Это RFC 3492. Само по себе оно не нормализует и не проверяет имена.
2. IDNA — система международных доменных имён: она решает, какие имена допустимы, как приводить их к единому виду (регистр, нормализация) и когда применять Punycode. Существуют две несовместимые версии: IDNA2003 и IDNA2008; Unicode UTS #46 описывает совместимую обработку.
3. Отображение в браузере — отдельная политика: браузер может показать вам кириллицу или, из соображений безопасности, оставить xn--…. Например, Chrome в ряде случаев показывает Punycode вместо Unicode, чтобы защититься от подделок (омографов).

Для магазина с кириллическим доменом (или тем, кто думает о нём) это означает три практические вещи: DNS, сертификаты и системные настройки работают с формой xn--; ссылки при копировании могут превращаться в «абракадабру»; безопасность отображения зависит от браузера. В статье: что такое Punycode и как он устроен, пример для .рф, IDNA2003 и IDNA2008, как браузеры показывают IDN, как настроить DNS, сертификат и редиректы, что известно про SEO (кириллический домен не даёт преимущества), как проверять, десять ошибок и PDF-чек-лист на 27 пунктов. Инструмент: Punycode-конвертер на tools.cetto.ru (кириллический домен в xn-- и обратно, работает со списками доменов и полными URL, раскодирует кириллицу в адресах).

Основа статьи — RFC 3492 (Punycode), Unicode UTS #46 (обработка IDNA), документация Chromium о политике отображения IDN, справка Google о структуре URL и материалы о кириллических доменах и их связи с SEO (Travelpayouts, справка Метрики). Информации о том, как именно Яндекс и Google ранжируют кириллические домены, в справках я не нашёл: утверждения о «пользе» или «вреде» кириллического домена приведены как мнения авторов. Примеры кодирования я проверил расчётом.

Как устроен Punycode

По RFC 3492, Punycode — вариант общего алгоритма Bootstring с параметрами, выбранными для IDNA. Принцип: ASCII-символы копируются в начало в исходном порядке, затем ставится разделитель «-», а остальные символы кодируются позициями и кодовыми точками в виде обобщённых целых переменной длины. Параметры адаптируются по ходу кодирования, что делает результат компактнее. Свойства: кодирование однозначно и обратимо (одной Unicode-строке соответствует одна закодированная строка и наоборот); декодер должен принимать буквы в любом регистре, а кодировщик выдавать только один регистр; алгоритм предназначен только для IDNA и не подходит для произвольного текста; разные записи одного текста Punycode сам не устраняет (это задача нормализации в IDNA). Префикс xn-- в тексте RFC 3492 не назван: он принадлежит спецификации IDNA (UTS #46 и RFC 3490 называют его при описании ToASCII).

Практическое следствие: кириллический домен технически длиннее своего «лица». У метки в DNS есть ограничения по длине, а закодированные кириллические имена растут быстро; слишком длинные названия не регистрируются. Проверить кодирование и декодирование: Punycode-конвертер. Как кодирование ведёт себя в адресах (в процентной записи): кодирование URL, Base64 и HTML-сущностей.

IDNA2003 и IDNA2008: что нужно знать

В 2003 году появилась IDNA2003, которая переводит имена с не-ASCII символами в Punycode. В 2010 году вышла IDNA2008, но она несовместима с прежней версией, что создало трудности для браузеров и почтовых клиентов в переходный период. UTS #46 задаёт правила обработки, чтобы клиенты открывали домены, допустимые в любой из систем. По документу, различия бывают трёх типов: добавления (имя недопустимо в IDNA2003, но допустимо в IDNA2008), исключения (наоборот) и отклонения (имя допустимо в обеих системах, но ведёт к разным адресам). Отклонения касаются символов ß, ς и невидимых ZWJ и ZWNJ; одно и то же имя вроде «Gießen» в разных системах может вести на разные IP-адреса, что открывает возможность для фишинга. Документ также отмечает, что UTS #46 не решает проблему похожих символов (confusables), для этого есть другие документы (UTR #36, UTS #39), и что в основных реализациях применяется нетранзитивная обработка для четырёх символов-отклонений. Для вас как владельца русскоязычного домена это в основном теоретический раздел; но он объясняет, почему при смешении алфавитов и спецсимволов бывают сюрпризы.

Нормализация: регистр не важен («ÖBB.at» и «öbb.at» — один домен), символы приводятся к единой форме. Для кириллицы практический вывод простой: используйте только строчные кириллические буквы, цифры и дефис, не смешивайте кириллицу и латиницу в одной метке.

Как браузеры показывают IDN

Документация Chromium объясняет, зачем Chrome иногда показывает Punycode: доменные имена с не-латинскими символами удобны, но позволяют подделывать адреса через омографы (например, кириллическую «а» вместо латинской). С Chrome 51 политика не зависит от языковых настроек браузера, и каждая метка проверяется отдельно. Chrome показывает Punycode (вид xn--…) вместо Unicode, если метка:

• не конвертируется в Unicode, содержит запрещённые символы или нарушает правила двунаправленного текста;
• содержит символы, не разрешённые стандартом UTS 39;
• смешивает письменности без допустимого сочетания: латиница не смешивается с кириллицей или греческим (ASCII-латиница допустима только с китайскими, японскими или корейскими письменностями);
• смешивает системы цифр, содержит невидимые символы или использует символы необычным образом;
• похожа на известный домен по «скелету» (после упрощения символов и удаления диакритики);
• целиком состоит из символов, похожих на латиницу, а домен верхнего уровня не относится к соответствующей письменности; совпадает с опасным шаблоном.

Если ни одно условие не сработало, показывается Unicode. Для владельцев доменов Chromium советует: дополнительные регистрации (например, IDN-вариант основного домена) перенаправлять на основной домен кодом 301 или 302 (мета-редиректы предупреждение не учитывает); для http и https лучше один редирект сразу на финальный адрес. Chrome также может блокировать навигацию, если адрес выглядит как подделка известного сайта (проверка «скелета» с недавно посещёнными и топ-500 доменами; все проверки выполняются локально). Выводы: не смешивайте кириллицу и латиницу в одном имени, а имя бренда не должно быть визуально похоже на чужой известный домен. Другие браузеры (в том числе Яндекс Браузер) могут применять свои правила: проверьте отображение вашего домена на реальных устройствах.

Как настроить сайт на кириллическом домене

1. DNS. Записи (A, AAAA, MX, TXT и др.) создаются для имени в форме Punycode или через интерфейс регистратора, который сам кодирует: проверьте результат: DNS-записи, «DNS-записи». Для почты (SPF, DKIM, DMARC) используйте закодированное имя: «Письма попадают в спам».
2. Сертификат. Сертификаты обычно выпускаются на закодированное имя (по общим сведениям); убедитесь, что центр поддерживает кириллические домены и что сертификат покрывает обе записи (корень и www): «SSL-сертификат», проверка SSL.
3. Хостинг и CMS. Добавляйте домен в панели хостинга и в настройках CMS в закодированной форме, если интерфейс не принимает кириллицу; проверяйте абсолютные ссылки и канонические адреса: «Canonical».
4. Редиректы. Настройте одно основное зеркало (с www или без, https) и перенаправляйте остальные 301: «ЧПУ», цепочки редиректов. Если у вас есть и латинский домен, определите главный и свяжите их редиректом, как советует Chromium для дополнительных регистраций.
5. Вебмастера. Добавьте сайт в Яндекс Вебмастер и Search Console и подтвердите права по DNS или файлом: «Яндекс Вебмастер». Для переезда с одного домена на другой следуйте инструкциям Яндекса и Google: «Миграция сайта».
6. Метрика и цели. В условиях целей и сегментов по регулярным выражениям, по справке Метрики, punycode не применяется: пишется кириллица, а не закодированная форма: «Регулярные выражения», «Цели в Метрике».
7. Письма и подписи. Адреса электронной почты на кириллических доменах поддерживаются не везде: тестируйте отправку и получение, особенно с крупными почтовыми сервисами (общий совет; в моих источниках нет).
8. Внешние сервисы. Рекламные кабинеты, платёжные системы, мессенджеры и партнёры могут по-разному принимать кириллический адрес: проверьте, как отображаются и открываются ссылки: ссылки на мессенджеры.

Punycode и SEO

• Преимуществ кириллического домена для ранжирования нет. В материале Travelpayouts сказано, что кириллические домены не имеют SEO-преимущества перед латинскими и могут создавать проблемы при шаринге из-за Punycode. В справках Google и Яндекса я не нашёл утверждений о бонусе или штрафе; решение — вопрос бренда и удобства.
• Google о Unicode в адресах. Справка по структуре URL советует использовать язык аудитории (включая транслитерацию) и кодировать не-ASCII символы в ссылках в процентной записи; для доменов роль играет Punycode. См. «ЧПУ».
• Копирование ссылок. При копировании адрес с кириллицей в пути превращается в строку с процентными кодами (кириллическая буква занимает до шести символов), а домен остаётся читаемым не везде: проверьте, как выглядят ваши ссылки в мессенджерах, письмах и рекламе.
• Единый основной адрес. Для поисковиков http и https, www и без www, кириллическая и закодированная форма — один сайт при правильных редиректах и canonical; дубли без редиректов нежелательны: «Noindex».
• Доверие и запоминаемость. Для рускоязычной аудитории кириллический домен удобен на вывесках и в офлайне; при онлайн-ссылках часто важнее короткий латинский адрес и подключённый второй домен-зеркало.
• Не меняйте домен ради SEO. Смена домена — миграция со всеми рисками: «Миграция сайта».

Безопасность: омографы и подделки

• Омографы. Кириллические «а», «е», «о», «р», «с», «х» выглядят как латинские; мошенники регистрируют домены, визуально похожие на известные. Браузеры защищаются (см. выше), но не идеально.
• Для вас как владельца. Проверьте, нет ли «двойников» вашего бренда в смежных зонах; зарегистрируйте основные варианты и перенаправьте на основной сайт: Whois домена.
• Для сотрудников и покупателей. Если ссылка выглядит странно, переписывайте адрес вручную или проверяйте через конвертер; Punycode-форму домена нужно сверить с официальным значением.
• Письма. Мошеннические письма с похожими доменами: проверяйте домен отправителя в закодированной форме: конвертер.
• Не смешивайте алфавиты в своём имени: такие метки Chrome показывает как Punycode, и домен выглядит подозрительно.

Как проверить

1. Конвертируйте домен в обе стороны и сравните с тем, что указано в DNS, сертификате и вебмастерах: Punycode-конвертер.
2. Проверьте DNS и сертификат на закодированное имя: DNS-записи, SSL.
3. Проверьте редиректы с зеркал на основной адрес (301 без цепочек): коды ответа.
4. Откройте сайт в разных браузерах и на разных устройствах; проверьте, что показывается в адресной строке.
5. Проверьте ссылки и письма: как выглядят в мессенджерах, почте, рекламе.
6. Проверьте карту сайта, canonical и счётчики: все адреса используют одну форму.
7. Проверьте Whois и срок: Whois домена.

Десять частых ошибок

1. Смешивание кириллицы и латиницы в одной метке домена.
2. DNS, сертификат или почта настроены не на то имя (Unicode вместо закодированного).
3. Нет редиректа с дополнительных доменов и зеркал на основной.
4. Canonical, карта сайта и ссылки используют разные формы адреса.
5. Доверие к «SEO-плюсам» кириллического домена, которых в справках нет.
6. Не проверяют отображение в браузерах и в мессенджерах.
7. Сертификат не покрывает корень или www закодированного имени.
8. Не проверяют почту на кириллическом домене.
9. Не защищают бренд от визуально похожих доменов.
10. Меняют домен ради «красоты» без плана миграции.

Что проверяю в аудите я

В техническом SEO-аудите я проверяю домен и его зеркала, DNS и сертификат, редиректы, canonical, карту сайта, отображение адреса в браузерах и ссылках, подтверждение прав в вебмастерах и связанные риски, и даю приоритетный план. Результат: PDF-отчёт на 30–50 страниц, технические задания для программистов, прогноз по трафику и заявкам и созвон, на котором я лично расскажу о найденных ошибках и отвечу на вопросы. Стоимость от 30 000 ₽, срок 3–5 рабочих дней для небольшого сайта и 7–10 для крупного магазина.

Итоговый чек-лист (короткая версия, полная в PDF)

• Домен сконвертирован в обе стороны; DNS, сертификат и вебмастера используют согласованные формы.
• Одно основное зеркало; остальные домены и варианты перенаправляются 301 без цепочек.
• В имени домена не смешаны кириллица и латиница; бренд защищён от похожих доменов.
• Сертификат покрывает корень и www; почта (SPF, DKIM, DMARC) настроена и протестирована.
• Ссылки и письма проверены в браузерах, мессенджерах и рекламе.
• Решения не основаны на мифе о SEO-преимуществе кириллического домена.

Об автореВладимир Родионов

Интернет-маркетолог, частный SEO-специалист cetto.ru. 10+ лет в IT, 200+ реализованных проектов, сертификация Яндекса и Google.

Все статьи автора →Задать вопрос в Telegram →