Сайт глазами поискового робота
Запросим страницу от имени Googlebot или YandexBot и покажем, что получает робот: ответ сервера, запреты индексации, текст и ссылки. И сравним с тем, что видит обычный браузер.
Зачем смотреть на сайт глазами робота
Посетитель и поисковый робот видят одну и ту же страницу по-разному. Браузер выполняет скрипты, подгружает отзывы и каталог, показывает всплывающие окна. Робот при первом обходе получает исходный код: что в нём есть, то и попадает в индекс. Плюс у робота свои правила доступа — robots.txt, запреты в мета-тегах и заголовках сервера.
Когда страница выпадает из поиска или не попадает в него месяцами, первое, что стоит сделать, — посмотреть на неё так, как её видит робот. Ответ часто лежит на поверхности.
Что проверяет инструмент
- Ответ сервера роботу. Код ответа, редиректы и конечный адрес — именно для User-Agent поисковой системы. Бывает, что защита от ботов отвечает роботу ошибкой 403, а людям показывает страницу.
- Правила robots.txt. Разрешён ли этот адрес выбранному роботу, и каким правилом.
- Запреты индексации. Мета-тег robots, отдельные теги для googlebot и yandex, заголовок X-Robots-Tag.
- Что робот прочитает. Title, описание, заголовки H1, объём текста и количество ссылок без выполнения скриптов.
- Разницу с браузером. Если роботу отдают другой код ответа, другой заголовок или заметно другой объём текста — это повод разобраться.
Что значит разница между роботом и браузером
| Что отличается | Возможная причина |
|---|---|
| Код ответа | Защита от ботов, файрвол хостинга или CDN отсекает поисковых роботов |
| Конечный адрес | Редирект по User-Agent: например, мобильная версия или выбор региона |
| Title и текст | Сайт подменяет содержимое для роботов. Если это сделано намеренно, это клоакинг — за него поисковые системы наказывают |
| Объём текста немного разный | Обычно безобидно: случайные блоки, баннеры, рекомендации |
Если текста у робота почти нет
Значит, содержимое собирается скриптом в браузере. Google умеет выполнять JavaScript, но делает это позже основного обхода и не всегда. Яндекс справляется с этим хуже. Для каталогов и статей надёжнее, когда основной текст, заголовки и ссылки есть в исходном коде страницы — то есть отдаются сервером сразу.
Частые вопросы
Не нашли ответ? Напишите в Telegram
Это настоящий Googlebot или YandexBot?
Нет, это запрос с нашего сервера с таким же User-Agent. Сайт, который проверяет подлинность робота по IP-адресу, может ответить нам иначе, чем настоящему роботу. Для большинства сайтов разницы нет.
Как проверить, как Google видит страницу на самом деле?
В Google Search Console есть «Проверка URL», в Яндекс Вебмастере — «Проверка ответа сервера». Они показывают ответ настоящим роботом, но только для сайтов, права на которые вы подтвердили.
Почему robots.txt разрешает адрес, а страницы нет в индексе?
robots.txt разрешает обход, а не гарантирует индексацию. Проверьте запреты в мета-тегах и заголовках — инструмент показывает их в том же отчёте, — canonical и качество самой страницы.
Инструмент показывает 403 для робота. Что делать?
Проверьте настройки защиты от ботов у хостинга, CDN или плагина безопасности: поисковых роботов нужно пропускать. Иначе сайт постепенно выпадет из поиска.
Робот видит не то, что посетитель?
Пустые страницы на JavaScript, клоакинг, случайные запреты — всё это мешает индексации. Напишите — проверим сайт целиком и найдём, что мешает роботам.