Аудит индексации сайта: как проверить, почему страницы не попадают в поиск

Коротко: что такое аудит индексации

Аудит индексации — проверка того, какие страницы вашего сайта поисковые системы хранят у себя в базе (индексе) и могут показывать в выдаче, а какие нет, и почему. Его задача сравнить два списка: страницы, которые должны быть в поиске, и страницы, которые там на самом деле. Расхождения и есть предмет работы: нужные страницы, которых нет в индексе, и лишние, которые в нём есть.

Пока страница не в индексе, она не может получать трафик, как бы хорошо она ни была написана. Поэтому индексация — первый пункт любой проверки, о чём говорят и другие материалы: сначала убедитесь, что страницы вообще попадают в поиск, и только потом разбирайтесь с позициями.

Три главных факта, которые стоит запомнить:

1. Не любой статус «не в индексе» — ошибка. Поисковики сознательно не индексируют дубли, служебные страницы, перенаправления. Задача не в том, чтобы проиндексировать всё, а в том, чтобы проиндексировать нужное.
2. robots.txt управляет обходом, а не индексом. Закрытая в нём страница может остаться в выдаче, а noindex на закрытой странице робот не увидит. Для скрытия страницы нужны noindex или пароль.
3. Индексация — не позиции. Страница может быть в индексе и не показываться по нужным запросам. Это разные задачи.

В статье: как проверить индексацию в Яндексе и Google, что означают статусы в Search Console (по справке Google), как разбирать причины, что делать с «просканирована, но не проиндексирована», как ускорять индексацию и что не работает. В конце — PDF-чек-лист на 36 пунктов.

Я изучил российские руководства по теме (Onegin-Expert, Lab Leaders, DZ Digital, Sales Generator, ADPASS и другие) и справки Google и Яндекса. В большинстве материалов не хватает разбора статусов: что означает каждый и когда он нормален. Часть материалов — реклама услуг. Я постарался собрать практичную схему и честно пометить, где есть официальные данные, а где мои выводы.

Как проверить индексацию: четыре способа и их границы

Совет из практики: для отдельной страницы используйте инструмент проверки URL в кабинете, для всего сайта — отчёты по индексации и краулер, для вопроса «почему робот не заходит» — логи. Оператор site: годится для мгновенной проверки одной-двух страниц и общей картины, но не для выводов.

Проверять нужно оба поисковика: данные расходятся. В одном разборе на практике Google держал малую долю страниц блога, а Яндекс почти весь блог. Инструменты вашего сайта для быстрой проверки: индексация и отправка URL, сайт глазами поискового робота.

Шаг 1. Составьте эталонный список страниц

Это то, что пропускают чаще всего. Прежде чем смотреть на статусы, определите, что вы хотите видеть в индексе:

• Должно быть: главная, разделы и категории, карточки товаров и услуг, статьи и руководства, страницы с условиями, контакты.
• Не должно быть: корзина и оформление заказа, личный кабинет, внутренний поиск, страницы сортировки и фильтров с параметрами, технические копии, тестовые страницы, служебные адреса.
• По решению: страницы фильтров, которые закрывают реальные запросы (их иногда открывают), страницы тегов, архивы, пагинация.

Ожидаемое число страниц возьмите из карты сайта и краулера. Если в карте 3 000 адресов, а в индексе 9 000, у вас лишние страницы. Если в индексе 800 из 3 000, нужные страницы не попадают. Оба случая требуют разбора, но причины разные.

Шаг 2. Разберите статусы в Google Search Console

Отчёт «Индексирование страниц» делит адреса на проиндексированные и непроиндексированные и называет причины. Ниже статусы по справке Google и что с ними делать.

Справка Google подчёркивает: непроиндексированные страницы — не всегда ошибка. Важно, чтобы индексировались ключевые страницы, а причину каждого статуса нужно проверять отдельно. Для разбора одной страницы используйте инструмент проверки URL в Search Console: он показывает, какой canonical выбран, когда был последний обход и что видит робот.

Шаг 3. Разберите данные в Яндекс Вебмастере

В Яндекс Вебмастере те же вопросы смотрят в разделах «Страницы в поиске» (что в поиске, что исключено и по какой причине), «Диагностика сайта» (проблемы по серьёзности) и в уведомлениях. Подробные критерии оценки качества страниц Яндекс не раскрывает, и по статусу «недостаточно качественная страница» мне не удалось найти официальный перечень причин, о чём честно предупреждаю.

Что точно известно из справки Яндекса о дублях: страницы-дубли могут не объединяться в группу и конкурировать между собой в поиске. Найти их можно в «Страницах в поиске» через исключённые страницы со статусом «Дубль». Если дубли появились из-за GET-параметров, об этом появится уведомление в диагностике сайта. Адреса со слэшем на конце и без Яндекс индексирует одинаково, поэтому такие варианты считаются дублями и должны быть склеены.

Практический порядок:

1. Откройте «Страницы в поиске» и сохраните выгрузку страниц в поиске и исключённых.
2. Сгруппируйте исключённые по причинам и типам страниц.
3. Проверьте ключевые страницы по одной.
4. Посмотрите диагностику и уведомления: критичные проблемы исправляйте сразу.

Для Яндекса http и https считаются разными сайтами, поэтому подтверждайте права на итоговый адрес. Как соотносить данные Яндекса и Google: они расходятся, и это нормально; сравнивайте не цифры, а список проблемных страниц.

Шаг 4. Типичные причины, по которым нужные страницы не в индексе

Об отсутствии ссылок: один из разборов замечает, что важная коммерческая страница не индексировалась просто потому, что на неё не вела ни одна внутренняя ссылка, а «ошибки» в кабинете оказались картинками и шрифтами, не относящимися к делу. Поэтому сортируйте проблемы по важности страниц, а не по числу.

Что делать со статусом «Просканирована, но не проиндексирована»

Самая частая жалоба и самая непонятная. Google страницу видел, но решил не добавлять в индекс. Прямой ошибки нет, значит, дело в оценке ценности страницы или в нехватке сигналов. Что делать по шагам:

1. Определите, нужна ли страница. Если это служебная, дубль или слабая копия, и в индексе она не нужна, оставьте как есть.
2. Если нужна, оцените содержание: уникально ли, полно ли отвечает на запрос, не копия ли чужого текста, чем отличается от лидеров.
3. Дайте внутренние ссылки со значимых страниц, с понятными анкорами. Одной карты сайта мало.
4. Проверьте дубли и canonical: не похожа ли страница на другую своего сайта.
5. Подождите и измените что-то существенное, прежде чем просить повторную проверку. По справке Google, повторно отправлять такую страницу на сканирование не нужно: новая отправка без изменений ничего не даёт.
6. Для сайта в целом: если непроиндексированных страниц много, это повод для контент-аудита: возможно, страниц слишком много и они слабые.

С «Обнаружена, но не просканирована» чаще помогают ссылки, ускорение сервера и время, чем правки текста: робот знает адрес, но не дошёл.

Как ускорить индексацию (и что не работает)

Сроки заранее назвать нельзя: они зависят от сайта, ссылок, качества и состояния поисковика. В источниках для нового сайта называют диапазон от нескольких дней до двух-трёх недель, но это ориентир. Что действительно помогает:

• Внутренняя ссылка на новую страницу с уже проиндексированной и посещаемой. Страницы-сироты роботу почти недоступны.
• Актуальная карта сайта в обоих кабинетах, с каноническими адресами и кодом 200.
• Запрос индексации в кабинете только для важных страниц; квота ограничена, повторные запросы не ускоряют процесс.
• IndexNow для Яндекса и Bing: отправка URL через IndexNow. Google этот протокол не использует. Это дополнение, а не гарантия.
• Быстрый и стабильный сервер: робот не должен получать медленные ответы и ошибки.
• Качественное, уникальное содержание и внешние упоминания.

Что не работает: массовая «прогонка» адресов через сомнительные сервисы, повторные отправки одной и той же страницы без изменений, закупка ссылок ради индексации. Об осторожности со ссылками подробно в статье «Аудит ссылок».

Лишние страницы в индексе

Обратная проблема: в индексе больше страниц, чем нужно. Типичные виновники: параметры сортировки и фильтров, метки кампаний, страницы внутреннего поиска, версии для печати, пагинация, тестовые копии, служебные адреса. Они дробят сигналы, расходуют время робота и создают дубли.

1. Выгрузите страницы в поиске и найдите адреса с «?», «sort», «filter», «utm_».
2. Для каждой группы выберите решение: canonical на основную страницу, noindex, закрытие в robots.txt от обхода (если страницы не должны быть в индексе и не имеют внешних ссылок) или редирект.
3. Помните: закрытие в robots.txt не удаляет страницу из индекса, а блокирует чтение noindex. Для вывода из индекса нужен noindex при открытом доступе; когда страницы исчезнут, при необходимости закройте обход.
4. Уберите такие адреса из карты сайта.
5. Контролируйте результат через 2–4 недель.

Проверить закрытие списка адресов поможет тестер robots.txt, а запреты в заголовках и мета-тегах — проверка noindex.

Как контролировать индексацию

• Раз в месяц просматривайте число страниц в индексе, статусы и уведомления в обоих кабинетах.
• После любого релиза, переноса, редизайна проводите отдельную проверку: типичная авария — забытый запрет (подробнее о редизайне).
• Зафиксируйте исходные числа до правок: число страниц в индексе по типам и поисковикам, чтобы потом сравнить.
• Следите за динамикой: резкий провал индекса — повод немедленно искать причину.
• Проверяйте счётчики: данные для сравнения должны собираться корректно (проверка счётчиков).

Если вы хотите самостоятельно пройти полную проверку, начните со статьи «SEO-аудит самостоятельно»: индексация там первый блок.

Как проверяю индексацию я

Индексация — первый блок моего SEO-аудита. Я сравниваю эталонный список страниц с тем, что есть в индексе обоих поисковиков, разбираю статусы и причины исключения, проверяю запреты, коды ответа, редиректы, дубли, canonical, карту сайта и внутреннюю структуру, нахожу лишние страницы в индексе и даю план исправлений с приоритетами. Результат: PDF-отчёт на 30–50 страниц, технические задания для программистов, прогноз по трафику и заявкам и созвон, на котором я лично расскажу о найденных ошибках и отвечу на вопросы. Стоимость от 30 000 ₽, срок 3–5 рабочих дней для небольшого сайта и 7–10 для крупного магазина.

Восемь ошибок при аудите индексации

1. Судить только по site:. Оператор приблизителен и не объясняет причин.
2. Считать любой статус ошибкой. Дубли, редиректы и служебные страницы не должны быть в индексе.
3. Смотреть один поисковик. Яндекс и Google расходятся.
4. Закрывать страницы только в robots.txt, рассчитывая, что они исчезнут из выдачи.
5. Отправлять на сканирование одни и те же страницы без изменений и надеяться на результат.
6. Не составить эталонный список, и потому не знать, что норма, а что аномалия.
7. Забывать про внутренние ссылки. Страница-сирота индексируется плохо.
8. Не проверять сайт после релиза. Типичная причина массового выпадения — забытый запрет.

Итоговый чек-лист (короткая версия, полная в PDF):

• Составлен эталонный список страниц, которые должны и не должны быть в индексе.
• Просмотрены отчёты Яндекс Вебмастера и Google Search Console, статусы сгруппированы по причинам.
• Нет запретов на важных страницах (robots.txt, noindex, X-Robots-Tag).
• Важные страницы отвечают 200, удалённые отдают 404 или 410, цепочек редиректов нет.
• Зеркала склеены, canonical настроен, дубли разобраны.
• «Просканирована, но не проиндексирована»: страницы нужные усилены, ненужные оставлены.
• Карта сайта корректна, внутренние ссылки ведут на все важные страницы.
• Лишние страницы в индексе закрыты правильным способом.
• Исходные числа зафиксированы, дата повторной проверки назначена.

Об автореВладимир Родионов

Интернет-маркетолог, частный SEO-специалист cetto.ru. 10+ лет в IT, 200+ реализованных проектов, сертификация Яндекса и Google.

Все статьи автора →Задать вопрос в Telegram →