Генератор sitemap.xml
Введите адрес сайта — обойдём его по внутренним ссылкам, отбросим редиректы, ошибки и закрытые страницы и соберём sitemap.xml для загрузки на сайт.
Как инструмент собирает карту
Инструмент обходит сайт так же, как поисковый робот: открывает главную, собирает с неё внутренние ссылки, переходит по ним, собирает новые — и так, пока не обойдёт сайт или не дойдёт до заданного числа страниц. Страницы открываются порциями по десять, чтобы не нагружать сайт.
В карту попадают только страницы, которые стоит индексировать. Остальные инструмент отбрасывает и показывает списком с причиной — это заодно маленький технический аудит.
| Не попадает в карту | Почему |
|---|---|
| Редиректы | В карте должны быть конечные адреса, а не перенаправления |
| Ошибки 4xx и 5xx | Битые страницы роботу не нужны |
| noindex в мета-теге или заголовке | Страница сама просит не индексировать её |
| canonical на другой адрес | Основной считается другая страница — она и должна быть в карте |
| Закрытые в robots.txt | Робот на них не зайдёт, а карта, которая зовёт на запрещённые адреса, выглядит противоречиво |
| Адреса с параметрами | Сортировки, фильтры и метки обычно дублируют основные страницы |
lastmod и priority
lastmod — дата последнего изменения страницы. Инструмент берёт её из заголовка Last-Modified, если сервер его отдаёт. Поисковые системы используют lastmod, чтобы понять, какие страницы переобойти, — но только если даты честные. priority Яндекс и Google сегодня практически не учитывают; инструмент может проставить его по глубине страницы, но можно и не указывать.
Когда генератора недостаточно
Карта, собранная обходом, — снимок сайта на сегодня. Новые страницы в неё не попадут, пока не соберёте её снова. Для живого сайта с каталогом или блогом карта должна генерироваться автоматически самой CMS — почти у всех систем для этого есть встроенная функция или модуль. Генератор полезен для небольших статичных сайтов, лендингов и для проверки: сравните результат обхода со своей картой, и станет видно, каких страниц в ней не хватает.
Частые вопросы
Не нашли ответ? Напишите в Telegram
Почему в карту попало меньше страниц, чем на сайте?
Инструмент находит только те страницы, на которые есть ссылки, и не дальше заданного предела. Страницы, на которые никто не ссылается, обходом не найти — а значит, и поисковому роботу их найти трудно.
Сколько времени занимает обход?
Около минуты на сотню страниц: страницы открываются порциями по десять с соблюдением ограничений, чтобы не нагружать ни ваш сайт, ни наш сервер.
Можно остановить обход и забрать то, что уже собрано?
Да, нажмите «Остановить» — карта соберётся из уже обойдённых страниц.
Куда положить готовый файл?
В корень сайта: site.ru/sitemap.xml. Затем укажите его адрес в robots.txt строкой Sitemap и добавьте в Яндекс Вебмастер и Google Search Console.
Сайт большой, а карта собирается руками?
Карта должна обновляться сама при каждом изменении каталога. Напишите — настроим автоматическую генерацию в вашей CMS.