Тестер правил robots.txt для списка URL

Вставьте robots.txt и список адресов — инструмент покажет, открыт ли каждый URL для выбранного робота и какое правило Allow или Disallow сработало.

Работает в браузере Без регистрации Без лимитов

robots.txt

URL для проверки

Робот

Результат

Вставьте robots.txt и список URL — здесь появится, какие адреса открыты, а какие закрыты

Как проверить robots.txt для списка URL

Стандартные инструменты Яндекс Вебмастера и Search Console проверяют адреса по одному. Этот тестер принимает сразу сотни URL и показывает для каждого, открыт он или закрыт, какое правило сработало и из какой группы User-agent оно взято.

Скопируйте содержимое robots.txt: откройте в браузере ваш-сайт.ru/robots.txt. Можно вставить и черновик, который ещё не выложен на сайт, — так удобно проверять правки до релиза.
Вставьте список адресов: страницы каталога, фильтры, поиск, служебные URL. Домен указывать не обязательно.
Выберите робота. Результат обновляется сразу при любом изменении.

По каким правилам работает проверка

Выбор группы. Робот берёт группу с самым точным совпадением User-agent. Если для Googlebot-Image нет своей группы, используются правила Googlebot, а если нет и их — группы *. Несколько групп с одинаковым User-agent объединяются.
Приоритет правил. Из всех подходящих Allow и Disallow побеждает самое длинное правило. При равной длине побеждает Allow. Так работают и Google, и Яндекс.
Спецсимволы. * — любая последовательность символов, $ — конец адреса. Правила чувствительны к регистру.

Что проверить в первую очередь

Убедитесь, что открыты карточки товаров, категории и пагинация, а закрыты корзина, личный кабинет, поиск и сортировки. Отдельно проверьте CSS и JS: если они закрыты, поисковик не сможет корректно отрисовать страницу.

Частые вопросы

Не нашли ответ? Напишите в Telegram

Поддерживаются ли директивы Clean-param и Host?

Они не влияют на то, открыт URL или закрыт, поэтому тестер их пропускает. Host Яндекс больше не учитывает — вместо него используйте 301 редирект на главное зеркало. Clean-param продолжает работать для склейки параметров.

Почему URL закрыт, хотя есть правило Allow?

Скорее всего, сработало более длинное правило Disallow. В колонке «Правило» видно, какая строка победила, а в колонке «Группа» — для какого User-agent она написана.

Закрытая в robots.txt страница не попадёт в индекс?

Не гарантированно. Google может проиндексировать закрытый URL без содержимого, если на него много ссылок. Чтобы убрать страницу из поиска, используйте meta robots noindex и не закрывайте её в robots.txt — иначе робот не увидит noindex.

Как закрыть сайт от ИИ-ботов?

Добавьте отдельные группы для GPTBot, ClaudeBot и других ботов с Disallow: /. В тестере выберите нужного бота и проверьте результат.