Генератор robots.txt
Выберите CMS и отметьте, что закрыть от индексации, — получите готовый robots.txt с правилами для Яндекса и Google, Clean-param и ссылкой на карту сайта.
robots.txt
Положите файл в корень сайта: он должен открываться по адресу site.ru/robots.txt. Перед загрузкой проверьте важные страницы в тестере robots.txt.
Как составить robots.txt для интернет-магазина
robots.txt говорит поисковым роботам, какие разделы сайта не нужно обходить. В интернет-магазине это прежде всего корзина, личный кабинет, поиск и бесконечные комбинации сортировок: они не нужны в выдаче, но съедают краулинговый бюджет — время, которое робот тратит на сайт.
Что генератор добавляет в файл
- Служебные разделы CMS — админку, системные папки и скрипты. Для WordPress, Битрикса и OpenCart набор правил свой.
- Clean-param — директива Яндекса, которая склеивает адреса с UTM-метками и рекламными параметрами с основным URL. Робот не тратит время на дубли, а сигналы передаются основной странице.
- Закрытие UTM для Google — Google не поддерживает Clean-param, поэтому для него такие адреса закрываются через Disallow.
- Запрет ИИ-ботов — отдельные группы для ботов, собирающих данные для обучения моделей. Яндекс и Google-поиск при этом продолжают индексировать сайт.
- Sitemap — ссылка на карту сайта, чтобы роботы быстрее нашли все страницы.
Чего не делать
- Не закрывайте CSS, JS и изображения — без них поисковик не сможет корректно отрисовать страницу.
- Не закрывайте пагинацию и фильтры, которые собирают трафик, — например, страницы «диваны с ящиком для белья».
- Не используйте robots.txt, чтобы убрать страницу из индекса: для этого есть meta robots noindex.
Частые вопросы
Не нашли ответ? Напишите в Telegram
Нужна ли отдельная группа для Яндекса?
Не обязательно. Яндекс понимает общую группу User-agent: *, а Clean-param можно указывать в любой группе. Генератор делает одну общую группу, чтобы правила не расходились.
Нужна ли директива Host?
Нет. Яндекс перестал её учитывать в 2018 году. Главное зеркало задаётся 301 редиректом и в Яндекс Вебмастере.
Закроет ли запрет GPTBot сайт от ChatGPT?
Запрет GPTBot не даёт использовать страницы для обучения моделей OpenAI. Поиск ChatGPT использует отдельного бота OAI-SearchBot, поэтому сайт может продолжать появляться в ответах со ссылкой. То же касается Google-Extended: он не влияет на обычный поиск Google.
Готовый файл подходит любому сайту?
Это хорошая основа, но каждую CMS настраивают по-своему. После выкладки проверьте карточки товаров, категории и важные фильтры в тестере robots.txt и в Вебмастере.
Нужна не таблица, а рост продаж?
Инструменты сделаны из реальных задач в проектах cetto.ru. Если хотите, чтобы семантику, структуру и техническое SEO интернет-магазина сделали под ключ — закажите аудит.