Мета-теги для SEO: что нужно, что устарело и как не закрыть сайт от поиска случайно

Коротко: какие мета-теги нужны, а какие давно не работают

Мета-теги — это служебные строки в блоке <head> страницы. Человек их не видит, а браузеры и роботы читают. Через них страница сообщает кодировку и масштаб на телефоне, подсказывает описание для выдачи, разрешает или запрещает индексацию, показывает превью в мессенджерах и подтверждает права на сайт. В интернете гуляет много советов вида «добавьте вот эти двадцать мета-тегов», и большая часть из них давно ничего не делает. Лишние теги не вредят сильно, но засоряют код и создают иллюзию работы.

Три принципа, на которых построена статья:

1. Нужно немного. Для обычной страницы хватает кодировки, viewport, title, description, при необходимости robots и canonical, а также Open Graph для превью. Всё остальное — по задачам.
2. Теги — это подсказки, а не рычаги. Поисковик волен переписать заголовок и описание, а мета-тег robots работает, только если робот может открыть страницу.
3. Ошибки в тегах стоят дороже, чем их отсутствие. Случайный noindex на шаблоне, пустой title на тысячах страниц или canonical на чужой адрес могут обрушить трафик. Поэтому главное в работе с мета-тегами — проверка после каждого релиза.

В статье: обязательный набор тегов, таблица «работает / не работает / устарело», как устроен мета-тег robots и чем он отличается от robots.txt и заголовка X-Robots-Tag, различия Google и Яндекса, как настроить теги для интернет-магазина в шаблонах CMS, как проверять и найти ошибки, десять частых ошибок и PDF-чек-лист на 32 пункта. Подробно о сниппете, длине и тексте title и description — в отдельной статье «Сниппет», чтобы не повторяться.

Основа статьи — справки Google «Мета-теги, которые поддерживает Google» и «Мета-тег robots и X-Robots-Tag», справка Яндекса о директивах robots и X-Robots-Tag, руководство web.dev по метаданным и русскоязычные материалы (Kokoc, Т—Ж и др.). Числа по длине тегов и «процент переписанных заголовков» из блогов я называю ориентирами авторов, а не нормами. Другие поисковые системы и сервисы могут трактовать теги иначе: так отмечает и сама справка Яндекса.

Базовый набор: что должно быть на каждой странице

Порядок в head тоже имеет значение: кодировку рекомендуют ставить в самое начало, чтобы браузер определил её до разбора остального. Кодировка UTF-8 — единственный разумный выбор для русскоязычного сайта. По справке Google, старый вариант записи кодировки через http-equiv="Content-Type" сохраняется, но если вы его используете, значение content нужно писать в кавычках, иначе кодировка может распознаться неверно. Современная запись — короткая <meta charset="utf-8">.

Значения по умолчанию указывать не нужно. Например, «index, follow» в robots лишний: Google пишет, что значения по умолчанию задавать не нужно, а Яндекс прямо говорит, что робот по умолчанию использует разрешающие директивы.

Работает, не работает, устарело

О тегах, которые советуют «на всякий случай» (revisit-after, distribution и подобные), нет подтверждений в справках Google и Яндекса. Если вы видите их в шаблоне, спокойно удаляйте, но проверьте, что это не нужные скрипту служебные теги CMS.

Мета-тег robots: тонкости, на которых ошибаются чаще всего

Мета-тег robots — самый «опасный» из всех: одна строка может убрать страницу из поиска. Разберём, как он устроен по справкам.

Google: директивы

• noindex — не показывать страницу в результатах поиска;
• nofollow — не переходить по ссылкам на странице; none равнозначна noindex + nofollow;
• nosnippet — не показывать текстовый фрагмент и видеопревью; max-snippet:N ограничивает длину (0 равно nosnippet, -1 — длину выбирает Google); max-image-preview (none, standard, large) и max-video-preview:N задают размер превью;
• noimageindex — не индексировать изображения на странице;
• notranslate — не предлагать перевод;
• unavailable_after: дата — скрыть страницу после даты; после неё Googlebot заметно реже сканирует страницу;
• indexifembedded — разрешает индексировать контент, встроенный через iframe, даже при noindex (работает только вместе с noindex);
• историческими, которые Google больше не использует, справка называет noarchive, nocache и nositelinkssearchbox.

Яндекс: директивы

По справке Яндекса, поддерживаются: noindex (не индексировать текст страницы), nofollow (не переходить по ссылкам), none (то же, что noindex + nofollow), noarchive (скрыть ссылку на сохранённую копию), а также разрешающие index, follow, archive и all (последние только в мета-теге, не в заголовке). Если разрешающая и запрещающая директивы конфликтуют, у Яндекса приоритет за разрешающей (пример из справки: all вместе с noindex, follow даёт индексацию текста и ссылок). Для Google наоборот: при конфликте применяется более строгое правило. Различие важное: если ваши теги написаны «по общему шаблону», поведение поисковиков может отличаться.

Отдельно для Яндекса есть тег <meta name="yandex" content="…">: он адресует директивы только роботу Яндекса. Если указаны и общие директивы (robots), и для Яндекса, робот учитывает их все (пример из справки: robots: noindex и yandex: nofollow воспринимаются как noindex, nofollow). Для Google можно использовать googlebot.

Главное условие: страница должна быть открыта для робота

И Google, и Яндекс подчёркивают: если URL закрыт в robots.txt, робот не загрузит страницу и не прочитает мета-тег, поэтому noindex не сработает. Закрывать нужно или в robots.txt (не сканировать), или noindex (не показывать в выдаче) — но не оба способа сразу, если нужно именно удалить страницу из индекса. Как это проверить: проверка robots.txt, проверка noindex, статья «Как проверить robots.txt».

Для файлов — X-Robots-Tag

Для PDF, изображений и видео, где нет блока head, те же правила задают HTTP-заголовком X-Robots-Tag. Его настраивают на сервере. У Яндекса заголовок поддерживает noindex, nofollow, none и noarchive; разрешающие директивы (index, follow, archive, all) в нём не работают. Проверка: коды и заголовки ответа, статья «Коды ответа сервера».

Сколько ждать результата

После добавления noindex страница не исчезает мгновенно: робот должен её переобойти. Практики на форумах пишут, что в Яндексе это может занять недели, но это личный опыт, а не официальная позиция. Ускорить помогает запрос на переобход в вебмастерах (Яндекс Вебмастер, Search Console). Подробности об индексации — «Аудит индексации».

Canonical, hreflang и Open Graph

• Canonical. Один тег в head, абсолютный адрес, канонический адрес отвечает 200 и не закрыт; на уникальных страницах рекомендуют self-canonical. Подробно — в статье «Canonical», проверка: canonical-check.
• Hreflang нужен многоязычным и мультирегиональным сайтам: каждая версия ссылается на все версии, включая себя, и согласован с canonical. Проверка: hreflang.
• Open Graph. На ранжирование напрямую не влияет, но определяет, как ссылка выглядит в соцсетях и мессенджерах. По руководству web.dev, для изображений указывайте абсолютный адрес и добавляйте og:image:alt. Проверка: Open Graph.
• Подтверждение прав (например, google-site-verification): имя и значение должны совпадать с выданными точно, включая регистр. Тег нужен, пока вы используете этот способ подтверждения.

Мета-теги в шаблонах CMS и интернет-магазина

На сайте с тысячами страниц теги живут в шаблонах. Основные правила:

• Для каждого типа страниц свой шаблон. Главная, категория, карточка, фильтр, статья, служебные страницы: у каждого свои title и description, а не один общий.
• Переменные подставляются без пустот. Типичная поломка: шаблон «{название} — купить в {город}», а название пустое, и получается « — купить в». Проверьте шаблон на «пустых» и «слишком длинных» значениях.
• Служебные страницы закрываются осознанно: корзина, оформление заказа, личный кабинет, поиск по сайту. Обычно для них ставят noindex (в обзорах также советуют nofollow). Но пагинацию не закрывайте целиком: тогда роботы не доберутся до товаров на глубоких страницах.
• Не меняйте теги скриптами. Google не рекомендует внедрять или менять мета-теги через JavaScript; если без этого не обойтись, тщательно проверяйте результат. Проверка «глазами робота»: сайт глазами робота.
• Следите за тестовыми и новыми разделами. Тестовый сайт закрывают noindex (а лучше доступом по паролю). После запуска этот noindex нужно убрать: забытое закрытие — частая причина того, что новый сайт не появляется в поиске. См. «Аудит перед запуском сайта».
• Релизный контроль. После каждой выкладки пересмотрите выборку страниц разных типов: title, description, robots, canonical, h1.

Если на сайте SEO-плагин или модуль (в обзорах упоминают, например, Yoast SEO и Rank Math для WordPress), он обычно выдаёт теги по шаблонам и позволяет менять их вручную для важных страниц. Но модуль надо настроить, а не оставить значения по умолчанию.

Как проверить мета-теги на сайте

1. Выгрузите теги списком. Массовая проверка Title, Description и H1 по списку адресов из карты сайта покажет пустые, дубли и слишком длинные теги.
2. Проверьте отдельные страницы. Мета-теги и микроразметка и заголовки покажут, что робот видит в коде.
3. Найдите случайные запреты. Для разных типов страниц проверьте robots, canonical и заголовки ответа: noindex, canonical, robots.txt.
4. Сверьте с вебмастерами. В Search Console используйте проверку URL; в Яндекс Вебмастере посмотрите страницы, исключённые из поиска, и дубли заголовков и описаний (если такие отчёты доступны для вашего сайта).
5. Проверьте после релиза. Сохраните контрольный список страниц разных типов и проверяйте его после каждой выкладки.
6. Мобильная версия. Убедитесь, что viewport на месте и страница адаптивна: проверка мобильной версии.

Десять частых ошибок

1. Случайный noindex на шаблоне или остаток тестового закрытия после запуска.
2. Закрыли страницу в robots.txt и поставили noindex: робот не прочитает тег, страница может остаться в индексе.
3. Пустой или одинаковый title и description на тысячах страниц.
4. Шаблон с пустыми переменными (« — купить в »).
5. Canonical на чужой, закрытый или перенаправляющий адрес.
6. Мета-тег keywords с длинным списком запросов: не работает и выглядит как спам.
7. Meta refresh вместо редиректа 301.
8. Нет viewport или неверная кодировка.
9. Теги меняются скриптами, и робот видит не то, что видит браузер.
10. Нет проверки после релизов и нет списка контрольных страниц.

Как проверяю мета-теги я

Мета-теги — обязательная часть моего SEO-аудита: я выгружаю теги по всему сайту, нахожу пустые и повторяющиеся, случайные запреты индексации, ошибки canonical и hreflang, проверяю шаблоны CMS и поведение после релизов, сверяю с данными вебмастеров и даю план исправлений. Результат: PDF-отчёт на 30–50 страниц, технические задания для программистов, прогноз по трафику и заявкам и созвон, на котором я лично расскажу о найденных ошибках и отвечу на вопросы. Стоимость от 30 000 ₽, срок 3–5 рабочих дней для небольшого сайта и 7–10 для крупного магазина.

Итоговый чек-лист (короткая версия, полная в PDF)

• На каждой странице есть кодировка UTF-8, viewport, уникальный title; описание — у важных страниц.
• Robots указан только там, где нужны ограничения; закрытые страницы не заблокированы в robots.txt одновременно.
• Canonical, hreflang и Open Graph корректны и согласованы.
• Лишние и устаревшие теги (keywords, refresh, прочие) убраны.
• Шаблоны CMS не дают пустых значений и дублей; теги не меняются скриптами.
• Проверка тегов выполняется после каждого релиза.

Об автореВладимир Родионов

Интернет-маркетолог, частный SEO-специалист cetto.ru. 10+ лет в IT, 200+ реализованных проектов, сертификация Яндекса и Google.

Все статьи автора →Задать вопрос в Telegram →