Проверка robots.txt сайта

Почему robots.txt стоит проверять

robots.txt — маленький текстовый файл в корне сайта, через который поисковым роботам говорят, куда заходить не нужно. Он работает на весь сайт сразу, поэтому одна ошибка в нём масштабируется на тысячи страниц. Строка Disallow: /, оставшаяся с тестового сервера, закрывает весь сайт. Запрет на папку со стилями и скриптами мешает роботу понять, как выглядит страница.

Проблемы бывают и не в правилах, а в самом файле: сервер отдаёт вместо robots.txt HTML-страницу, файл в кодировке Windows-1251 или со служебным символом BOM в начале, правила стоят до первой строки User-agent и поэтому не действуют.

Что проверяет инструмент

• Доступность. Код ответа 200, без редиректов на другой домен. Ответ 5xx Google воспринимает как полный запрет обхода.
• Формат файла. Что это действительно текст, а не HTML-заглушка, кодировка UTF-8, размер меньше 500 КБ — дальше Google не читает.
• Синтаксис. Неизвестные директивы, правила без группы User-agent, пути без начального слеша.
• Опасные правила. Запрет всего сайта, закрытые CSS, JS и картинки, запрет главного робота Яндекса или Google.
• Sitemap. Указана ли карта сайта, полный ли у неё адрес.
• Директивы Яндекса. Clean-param для меток и параметров. Устаревшую Host Яндекс больше не учитывает — её можно убрать.

Как читается файл

Правила собираются в группы: строка User-agent открывает группу, за ней идут Allow и Disallow. Робот ищет группу со своим именем, а если её нет — берёт группу User-agent: *. Важно: если для Яндекса есть отдельная группа, общие правила из группы со звёздочкой на него уже не действуют. Частая ошибка — закрыть служебные разделы в общей группе и забыть повторить их в группе Yandex.

Внутри группы побеждает самое длинное подходящее правило, а при равной длине — Allow. Порядок строк значения не имеет.