Какой текст страницы учитывает поисковик: основной контент и шаблонные блоки

Коротко: какой текст страницы «видит» поисковик и что такое основной контент

На странице интернет-магазина полезного текста бывает тысяча знаков, а «обвязки» вокруг — десять тысяч: меню, фильтры, блок «Вы смотрели», отзывы из виджета, подвал с одинаковым текстом на всех страницах. Когда вы анализируете тексты (свои или конкурентов), проверяете уникальность или считаете объём, важно отделять основной контент (то, ради чего страница существует) от шаблонных блоков (одинаковых на многих страницах). Иначе вы посчитаете мусор вместе с текстом.

Что известно, а что нет — коротко:

1. Официального определения «основного контента» для ранжирования у Google и Яндекса я не нашёл. Понятия MC (main content), SC (supplementary content) и Ads используются в руководстве для оценщиков качества Google; это инструкция для людей-асессоров, а не описание алгоритма, и сам документ я не открыл (пересказы в SEO-блогах).
2. Вёрстка помогает отделить контент: элемент <main> по MDN обозначает основное содержимое страницы (один видимый на документ), а повторяющиеся блоки — навигацию, боковые панели, авторские права, поиск — внутри него размещать не следует.
3. Поисковый робот не взаимодействует со страницей. Google: контент, который появляется только после прокрутки или клика, он не увидит; Яндекс: в индекс попадает информация, для доступа к которой не нужны дополнительные действия.
4. Скрипты имеют значение: Google обрабатывает JavaScript в три этапа (обход, отрисовка, индексирование) и индексирует то, что появилось в отрисованном HTML; но отрисовка может занять время, а часть роботов скриптов не выполняет.
5. Практика важнее теории: вытащите текст со страницы так, как его получает робот, и посмотрите, сколько в нём уникального и нужного.

Инструмент: текст со страницы онлайн на tools.cetto.ru (по адресу достаёт текст без кода, меню и подвала: основной — из тега main или самой большой article, либо весь текст; можно убрать короткие строки, склеить в абзац, скачать TXT; запрос идёт с нашего сервера). В статье: что считать основным контентом, как поисковики и асессоры понимают структуру страницы, шаблонные блоки и дубли, как проверить, что видит робот, что делать, десять ошибок и PDF-чек-лист на 27 пунктов.

Оговорки по источникам. Основа: справочник MDN об элементе main, справки Google об обработке JavaScript и об отложенной загрузке контента, справка Яндекс Вебмастера «Представление информации на сайте» (в пересказе результатов поиска: сама страница в этом заходе не открывалась) и код моего инструмента. Руководство Google для асессоров качества я не открывал: определения MC, SC и рекламы даны по пересказам сторонних SEO-блогов, формулировки в них различаются. Официальную страницу Google о том, как он определяет шаблонный текст, я найти не смог (страница о дублях контента, которую я открыл, о шаблонных блоках не говорит), поэтому утверждений о том, как именно поисковики отделяют основной контент от шаблона, я не делаю. Числа в примерах условные.

Что такое основной контент и шаблонные блоки

По пересказам руководства Google для асессоров, основной контент — часть страницы, которая прямо служит её цели (текст, изображения, видео, функции, а иногда отзывы пользователей); вспомогательный — то, что поддерживает основной (боковые подсказки, похожие материалы, навигация); реклама — контент, который приносит доход владельцу. Там же сказано, что реклама сама по себе не признак низкого качества, но проблемой становится, когда она загораживает основной контент. Это инструкция для оценки качества людьми, а не описание того, как работает ранжирование, поэтому использовать её нужно как ориентир, а не как правила.

Практический вывод для магазина: на карточке товара основной контент — это описание, характеристики, условия и изображения; всё остальное — окружение. Если окружения много, а основного текста мало, страница выглядит «пустой» на фоне шаблона, и это отдельная проблема качества: «Описания товаров».

Как вёрстка помогает отделить контент

• <main>. По MDN, это основное содержимое страницы, связанное с её центральной темой. На документ должен приходиться один видимый main; повторяющееся содержимое (боковые панели, навигацию, авторские права, логотипы, форму поиска) внутри него размещать не следует. Элемент также позволяет вспомогательным технологиям и режиму чтения браузера выделить основную часть страницы.
• <article>. Самостоятельный материал (статья, карточка). Мой инструмент, если main не нашёл, берёт самую большую article.
• <nav>, <aside>, <header>, <footer>. Навигация, боковая колонка, шапка и подвал: они выносят шаблон за пределы основного контента.
• Если разметка без этих тегов, отделить содержимое от обвязки по коду нельзя; приходится фильтровать по признакам (короткие строки меню и кнопок, повторяемость между страницами).
• Не утверждаю, что поисковики опираются на эти теги при ранжировании. В справках Google и Яндекса, которые я смог открыть, такого требования нет. Семантическая вёрстка полезна пользователям, режиму чтения и ассистивным технологиям, а для поиска она в худшем случае нейтральна. Как оформлять текст: «HTML-редактор».

Что видит робот

• Робот не нажимает и не прокручивает. Справка Google об отложенной загрузке: загрузка не должна зависеть от прокрутки или клика, потому что Google Search не взаимодействует со страницей. Отзывы, описание во вкладках, «показать ещё» должны быть в HTML или подгружаться при появлении в области просмотра.
• Скрипты обрабатываются, но с задержкой. По справке Google: обход, очередь отрисовки, отрисовка в Chromium и индексирование по отрисованному HTML; страницы со статусом 200 попадают в очередь отрисовки, она может занять больше нескольких секунд. Не стоит полагаться на скрипт там, где можно отдать текст в HTML сразу. Серверная отрисовка или предварительная отрисовка помогают и пользователям, и роботам, которые скрипты не выполняют.
• Яндекс. Справка Вебмастера (по пересказу): робот не совершает активных действий, поэтому в индекс попадает только информация, доступная без регистрации, SMS или ввода кода. Яндекс также оценивает, насколько удобно воспринимается информация: страницы с понятным содержимым, не разбитым на мелкие блоки среди рекламы, получают преимущество.
• Проверка. Откройте страницу инструментом «Сайт глазами робота» и сравните с браузером; для Google используйте «Проверку URL» в Search Console и смотрите отрисованный HTML. Про блокировки доступа: «Ошибка 403 и 401».

Шаблонные блоки и дубли текста

• Почему важно. Одинаковые блоки на сотнях страниц раздувают объём текста, искажают анализ плотности ключей и проверку уникальности, и создают впечатление «одинаковых» страниц, если собственного текста мало. Это отдельный вопрос от дублей URL.
• Что считать шаблоном. Всё, что одинаково на многих страницах: подвал, текст о доставке и оплате, универсальные описания категорий.
• Что делать. Сокращайте повторяющийся текст до краткого вступления со ссылкой на подробную страницу; усиливайте уникальный текст страницы; не копируйте одинаковые описания между товарами: «Уникальность текста», «Описание категории».
• Дубли адресов. Если одинаковый контент доступен по разным адресам, действуют правила канонизации (Google выбирает лучшую версию сам, сильнейший сигнал — редирект, затем rel="canonical", затем карта сайта): «Canonical».
• Я не нашёл официального заявления, как поисковики вычитают шаблон из оценки страницы, поэтому оценивайте результат по данным: позиции, индексация и сниппеты страниц с малым собственным текстом.

Как проверить: пошагово

1. Извлеките текст страницы в режиме «Только основной текст»: текст со страницы. Источник виден в подписи: «из тега main», «из тега article» или «тегов main и article нет — весь текст».
2. Если тегов нет, переключитесь на «Весь текст» и включите «Убрать короткие строки». Фильтр убирает строки короче четырёх слов без знака конца предложения (пункты меню, кнопки), оставляя абзацы.
3. Посмотрите статистику: слова, знаки с пробелами и без, абзацы. Сравните объём основного текста с объёмом всей страницы.
4. Сверьте с браузером: если в выгрузке нет важных блоков (отзывы, описание во вкладке), они подгружаются скриптом, и поисковая система может их не увидеть.
5. Сравните с конкурентами: возьмите страницы из первой десятки и сравните объём и структуру основного текста: «Сравнение текстов», «Тошнота и водность текста».
6. Передайте чистый текст в проверку уникальности или в SEO-анализ: без меню и подвала результат честнее.
7. Проверьте выборку страниц одного шаблона (категории, карточки): пустые карточки и одинаковые описания видны сразу.

Пример с расчётом (условный). Пусть на странице категории 11 000 знаков, из них 9 500 — меню, фильтры, подвал и шаблонные блоки, и 1 500 — уникальный текст. Доля основного текста — 1 500 / 11 000 ≈ 13,6 %. Если анализировать всю страницу, объём покажется «11 тысяч знаков», а реальный — 1,5 тысячи; сравнение с конкурентом, у которого в основном контенте 4 000 знаков, даст другой вывод. Числа выдуманы для иллюстрации, на своих страницах измеряйте.

Ограничения извлечения текста

• Мой инструмент читает исходный код страницы, как робот при первом обходе, и не выполняет скрипты: подгружаемый текст не увидит.
• Режим «основной текст» берёт первый main или самую большую article; если их нет или они охватывают не всё, результат неполный. В режиме «весь текст» остаются меню и подвал, потому что инструмент удаляет только скрипты, стили, шаблоны и значки.
• Только HTML-страницы: тексты из PDF и документов не извлекаются. До 200 тысяч знаков с одной страницы; одна страница за проверку.
• Сайты с защитой от ботов могут не отдавать страницу нашему серверу: откройте страницу вручную и сравните.

Десять частых ошибок

1. Считают объём текста по всей странице, включая меню и подвал.
2. Проверяют уникальность вместе с шаблоном и получают искажённый результат.
3. Копируют текст из браузера и тащат в анализ пункты меню и кнопки.
4. Важный текст подгружается скриптом или по клику, и никто не проверил, видит ли его робот.
5. Несколько элементов main на странице или шаблон внутри main.
6. Одинаковые длинные тексты о доставке и гарантии на каждой странице вместо краткой ссылки.
7. Пустые карточки и категории, где весь «текст» — шаблон.
8. Сравнивают со страницами конкурентов только по объёму, не глядя на структуру и полезность.
9. Скрывают важный контент во вкладках и «читать далее» без проверки отображения в HTML.
10. Выводы о «расчёте поисковиком основного контента» делают без источников.

Что проверяю в аудите я

В SEO-аудите я оцениваю тексты страниц отдельно от шаблона: объём и качество основного контента, долю шаблонных блоков, пустые и повторяющиеся описания, контент, доступный только после действий или скриптов, и сравниваю с конкурентами из первой десятки. Результат: PDF-отчёт на 30–50 страниц, технические задания для программистов, прогноз по трафику и заявкам и созвон, на котором я лично расскажу о найденных ошибках и отвечу на вопросы. Стоимость от 30 000 ₽, срок 3–5 рабочих дней для небольшого сайта и 7–10 для крупного магазина.

Итоговый чек-лист (короткая версия, полная в PDF)

• Объём текста считается по основному контенту, а не по всей странице вместе с меню и подвалом.
• Важный текст есть в исходном коде или подгружается без прокрутки и клика; проверено глазами робота.
• Вёрстка использует один main и отделяет навигацию, боковые блоки и подвал.
• Повторяющиеся тексты сокращены; уникальный текст страницы усилен.
• Проверка уникальности и анализ конкурентов выполняются по чистому тексту.
• Выводы о работе поисковиков подтверждены документами или данными, а не догадками.

Об автореВладимир Родионов

Интернет-маркетолог, частный SEO-специалист cetto.ru. 10+ лет в IT, 200+ реализованных проектов, сертификация Яндекса и Google.

Все статьи автора →Задать вопрос в Telegram →