Noindex: как закрыть страницу от индексации, чем он отличается от robots.txt и как не потерять трафик

Коротко: что такое noindex и чем он отличается от robots.txt

noindex — это правило, которое говорит поисковику: эту страницу не нужно показывать в результатах поиска. Его задают мета-тегом в блоке <head> (<meta name="robots" content="noindex">) или HTTP-заголовком X-Robots-Tag: noindex. Робот при этом может зайти на страницу, прочитать её, но в выдачу она не попадёт. Страница остаётся доступной людям по прямой ссылке.

Самая частая путаница — между noindex и закрытием в robots.txt. Это разные инструменты с разными задачами:

1. Disallow в robots.txt запрещает обход (сканирование), а не показ в выдаче. Google прямо пишет, что robots.txt не скрывает страницы от Google: если на закрытый адрес ведут ссылки с других сайтов, адрес может появиться в поиске, но без описания.
2. noindex запрещает показ в выдаче, но для этого робот должен прочитать страницу. Если страница закрыта в robots.txt, робот не увидит тег, и noindex не сработает. Об этом одинаково пишут и Google, и Яндекс.
3. Для данных, которые вообще нельзя показывать, нужен пароль. Ни noindex, ни robots.txt — не защита: это просьбы к добросовестным роботам. Для личной информации используйте авторизацию.

В статье: когда использовать noindex, а когда robots.txt, 301, 404 или пароль; какие страницы интернет-магазина стоит закрывать и каким способом; как закрыть файлы (PDF, изображения); как отличить noindex от nofollow и атрибутов ссылок; как быстро удалить страницу из поиска; почему страница остаётся в выдаче; как найти случайный noindex; десять частых ошибок и PDF-чек-лист на 34 пункта. Технические подробности мета-тега robots — в статье «Мета-теги», здесь больше про решения.

Основа статьи — справки Google «Заблокировать индексацию с помощью noindex», «Введение в robots.txt», «Удаление информации из Google» и «Квалификация исходящих ссылок», справки Яндекса «Как запретить индексирование сайта или страниц» и «Как скрыть от обхода страницы, которые не нужны в поиске», а также русскоязычные обзоры (Timeweb, Sostav). Обзор Timeweb написан в 2020 году, поэтому из него я беру только общие понятия. Сроки исчезновения страниц из поиска зависят от частоты обхода: цифры в справках и обсуждениях я называю ориентирами, а не гарантиями.

Что выбрать: noindex, robots.txt, 404/410, 301, пароль

Главное правило выбора: нужно «не показывать» — noindex; нужно «не сканировать» — Disallow; нужно «убрать совсем» — 404/410 или удалить; нужно «объединить» — 301 или canonical; нужно «не пускать» — пароль. И никогда не смешивайте Disallow и noindex на одном адресе, если цель — убрать страницу из поиска.

Как закрыть страницу правильно

Мета-тег

В блоке head страницы: <meta name="robots" content="noindex">. Для всех поисковиков, которые поддерживают правило; для Google отдельно — googlebot. Для Яндекса поддерживаются noindex, nofollow, none и noarchive. Можно сочетать через запятую, например noindex, nofollow. Различия между Google и Яндексом по конфликтам директив разобраны в статье про мета-теги.

Заголовок X-Robots-Tag

Тот же эффект на уровне сервера: X-Robots-Tag: noindex. Подходит для файлов без HTML (PDF, изображения, видео) и для массового закрытия шаблонов. Google отдельно отмечает, что правило можно сочетать с другими, например с nofollow. Указание noindex в robots.txt Google не поддерживает, так что не пытайтесь закрывать им.

Что обязательно проверить

• Страница открывается роботом (код 200, не закрыта в robots.txt, не за паролем, если нужен именно noindex).
• Тег в исходном HTML, а не вставляется скриптом: сайт глазами робота.
• Закрыты все варианты адреса: Google отмечает, что нужно учитывать адреса с разным регистром и с параметрами.
• Страница не в карте сайта. В sitemap должны быть адреса, которые вы хотите видеть в поиске: проверка карты сайта.
• Внутренние ссылки. Не ведут ли важные ссылки на закрытые страницы? См. «Аудит ссылок».

Проверить результат: проверка noindex и X-Robots-Tag, коды и заголовки ответа, проверка robots.txt.

Что закрывать в интернет-магазине

Закрывать нужно то, что не должно конкурировать в поиске или не имеет смысла для него. По справке Яндекса, это служебные страницы, страницы для авторизованных пользователей (оформление заказа, профиль), черновики и «заглушки»: они создают лишнюю нагрузку на обход, замедляют обход важных страниц и могут конкурировать с ними.

Не закрывайте то, что даёт трафик. Перед массовым закрытием проверьте, сколько показов и кликов даёт раздел за год (в Search Console и Яндекс Вебмастере): иногда «мусорная» страница на деле приносит заявки. Подробнее об индексации — «Аудит индексации».

noindex, nofollow, none и атрибуты ссылок

Эти понятия часто путают.

• noindex — не показывать страницу в поиске.
• nofollow в мета-теге — не переходить по ссылкам на странице; none — то же, что noindex + nofollow.
• rel="nofollow" на ссылке — относится к одной ссылке. Google различает три значения: sponsored (рекламные и платные ссылки), ugc (пользовательский контент: комментарии, форумы) и nofollow (когда другие не подходят). Для Google это рекомендации, а не гарантия: страницу по ссылке с таким атрибутом могут найти другими путями.
• Для ссылок внутри своего сайта страница Google рекомендует использовать не nofollow, а правила robots.txt.
• Фрагмент текста. В Яндексе есть элемент <noindex> и комментарий <!--noindex--> для части текста, а также noscript; Timeweb замечает, что <noindex> не входит в стандарт HTML. Для Google такой элемент не предназначен.

Практический совет: не надо закрывать часть текста, чтобы «спрятать» плохое от поисковика. Если текст слабый, его лучше переписать (SEO-тексты).

Как убрать страницу из поиска быстро и надёжно

1. Выберите способ. По справке Google, постоянное удаление — это (1) удалить или изменить содержимое страницы (самый надёжный способ: информация пропадает и для других поисковиков), (2) закрыть паролем, (3) добавить noindex.
2. Для срочного удаления в Google есть инструмент удалений в Search Console: он убирает страницу из результатов примерно за день, но запрос действует около 6 месяцев; чтобы удаление стало постоянным, нужно один из трёх способов выше.
3. Для Яндекса страница уходит из базы в течение недели после того, как робот увидел указания; ускорить помогает инструмент «Удаление страниц из поиска» в Яндекс Вебмастере.
4. Проверьте результат. В Search Console инструмент проверки URL показывает HTML, который получил Googlebot; в Вебмастере «Проверка страницы» покажет, известна ли страница роботу.

Почему страница осталась в выдаче

Как найти случайный noindex

Случайно закрытые страницы — одна из самых дорогих технических ошибок: трафик падает без видимой причины. Типичные сценарии: тестовое закрытие осталось после запуска, плагин «скрыть от поиска» применили ко всему сайту, шаблон категории получил noindex при обновлении CMS, X-Robots-Tag настроили для одного каталога, а закрылся весь сайт.

1. Проверьте ключевые шаблоны: главная, категория, фильтр, карточка, статья. Для каждого — мета-тег robots и заголовок X-Robots-Tag: проверка noindex.
2. Выгрузите страницы из карты сайта и проверьте выборку: если среди них есть noindex, карта и закрытие противоречат друг другу.
3. Загляните в вебмастера: в Search Console отчёт об индексировании покажет страницы с обнаруженным noindex; в Яндекс Вебмастере — исключённые страницы и причины.
4. Сверьте с трафиком: если раздел потерял показы после релиза, начните с проверки тегов этого раздела. Общий порядок действий при падении — «Упал трафик сайта».
5. Добавьте проверку в релиз: после выкладки открывайте по одной странице каждого типа.

Десять частых ошибок

1. Disallow и noindex вместе: робот не прочитает тег.
2. Закрыли весь сайт на время разработки и забыли открыть.
3. noindex вместо 301 или canonical для дублей: сигналы не объединяются.
4. Закрыли страницы, которые приносят трафик, не проверив статистику.
5. Закрыли всю пагинацию, и товары на глубоких страницах перестали обходиться.
6. Рассчитывают, что noindex защитит личные данные. Нужен пароль.
7. В карте сайта остались закрытые страницы.
8. noindex ставят скриптом, и робот видит другую версию страницы.
9. Для файлов (PDF) пытаются использовать мета-тег вместо X-Robots-Tag.
10. Не проверяют результат и не ждут переобхода: через неделю решают, что «не работает».

Как проверяю закрытие страниц я

Индексация — основа моего SEO-аудита: я проверяю, какие страницы открыты и закрыты, нет ли случайных запретов в мета-тегах, заголовках и robots.txt, сверяю карту сайта, редиректы и canonical с данными вебмастеров и даю план исправлений. Результат: PDF-отчёт на 30–50 страниц, технические задания для программистов, прогноз по трафику и заявкам и созвон, на котором я лично расскажу о найденных ошибках и отвечу на вопросы. Стоимость от 30 000 ₽, срок 3–5 рабочих дней для небольшого сайта и 7–10 для крупного магазина.

Итоговый чек-лист (короткая версия, полная в PDF)

• Для каждого типа страниц выбран способ: noindex, Disallow, 404/410, 301/canonical или пароль.
• Страницы с noindex открыты для робота и не закрыты в robots.txt.
• Закрыты служебные страницы магазина, а страницы с трафиком — открыты.
• Для файлов настроен X-Robots-Tag; для личных данных — авторизация.
• Карта сайта не содержит закрытых страниц.
• Случайный noindex исключён проверкой после каждого релиза.

Об автореВладимир Родионов

Интернет-маркетолог, частный SEO-специалист cetto.ru. 10+ лет в IT, 200+ реализованных проектов, сертификация Яндекса и Google.

Все статьи автора →Задать вопрос в Telegram →