Проверка noindex и X-Robots-Tag
Инструмент смотрит и разметку, и заголовки сервера: запрет на индексацию часто спрятан именно в X-Robots-Tag, где его не видно при просмотре кода страницы.
Запреты индексации
Вставьте адреса слева и нажмите «Проверить»
Три способа закрыть страницу от поиска — и почему их путают
Запретить индексацию можно в трёх местах, и работают они по-разному. Самая частая ошибка — закрыть страницу в robots.txt и думать, что этого достаточно.
| Способ | Где живёт | Что делает на самом деле |
|---|---|---|
| Disallow в robots.txt | Файл /robots.txt | Запрещает обход, а не индексацию. Робот не зайдёт на страницу, но может показать её в выдаче по внешним ссылкам — без описания. И запрет noindex на закрытой странице он тоже не увидит. |
| meta name="robots" | Разметка страницы, в <head> | Запрещает показ в выдаче. Работает, только если робот может зайти на страницу и прочитать код. |
| X-Robots-Tag | Заголовок ответа сервера | То же, что meta robots, но на уровне сервера. Работает для любых файлов, включая PDF и картинки. В коде страницы не виден. |
Что показывает проверка
- noindex — страницу нельзя показывать в выдаче.
- nofollow — роботу не стоит переходить по ссылкам с этой страницы и передавать им вес.
- none — то же, что noindex и nofollow вместе.
- Правила для конкретных роботов. Теги
googlebotиyandexадресованы одной системе. Бывает, что страница закрыта только от Google, а в Яндексе спокойно живёт — или наоборот. - noarchive, nosnippet — страница в выдаче останется, но без сохранённой копии или без описания.
Когда проверка нужна срочно
Классическая история: сайт разрабатывали на тестовом домене, где всё было закрыто от индексации, а при переносе на боевой забыли убрать запрет. Через месяц выясняется, что сайта нет в поиске, и никто не понимает почему — в robots.txt всё открыто, в коде страницы на первый взгляд тоже. Запрет сидит в заголовке X-Robots-Tag, который ставит сервер.
Вторая частая ситуация — обратная: служебные страницы вроде корзины, личного кабинета, результатов поиска по сайту или страниц сортировки должны быть закрыты, а они открыты и засоряют индекс дублями. Проверьте такие адреса списком: это быстрее, чем смотреть код каждой страницы.
Как правильно закрывать страницы
Если страница должна исчезнуть из поиска — ставьте noindex в разметке или в заголовке и не закрывайте её при этом в robots.txt. Иначе робот не зайдёт и не узнает про запрет, а страница так и останется в выдаче. Когда она выпадет из индекса, можно закрыть и обход — чтобы не тратить лимит на бесполезные адреса.
Частые вопросы
Не нашли ответ? Напишите в Telegram
Страница закрыта в robots.txt — она пропадёт из поиска?
Не обязательно. Запрет в robots.txt говорит роботу «не заходи», а не «не показывай». Google может оставить такую страницу в выдаче с пометкой, что описание недоступно. Чтобы страница точно исчезла, нужен noindex при открытом обходе.
Инструмент показывает noindex только для Google. Как так?
На странице стоит тег с именем googlebot — он адресован только Google. Яндекс такой запрет не выполняет и может держать страницу в индексе.
Почему в коде страницы я не вижу никакого noindex, а инструмент его находит?
Запрет стоит в заголовке X-Robots-Tag, который отдаёт сервер. В исходном коде страницы его не видно — только в ответе сервера, который инструмент и показывает.
Проверяет ли инструмент правила robots.txt?
Нет, это соседняя задача — для неё есть тестер правил robots.txt. Здесь проверяются запреты в разметке и в заголовках, которые действуют на уже загруженную страницу.
Страница открыта для индексации, но её нет в поиске. Что дальше?
Проверьте canonical — возможно, он указывает на другую страницу, и поиск считает её главной. Затем посмотрите код ответа и наличие адреса в карте сайта. Если всё в порядке, дело в качестве страницы или в очереди на обход.
Страница открыта, а в поиске её нет?
Запрет индексации — самая частая, но не единственная причина. Бывают дубли, слабый текст, редиректы и просто очередь на обход. Напишите — найдём причину по вашему сайту.