Доступ ИИ-ботов к сайту

Введите домен — проверим robots.txt для двух десятков ботов нейросетей и покажем, кому сайт открыт для обучения моделей, а кому — для ответов в нейропоиске.

Запрос с нашего сервера Без регистрации Один сайт за проверку

Адрес сайта

Страница для проверки — по умолчанию главная

Проверяем правила robots.txt для каждого бота. Это то, о чём сайт просит; большинство крупных компаний правила соблюдают, но технически robots.txt никого не блокирует.

Боты нейросетей

Введите адрес сайта и нажмите «Проверить доступ»

Кто из нейросетей ходит по сайтам

У каждой крупной компании, которая делает нейросети, теперь свои роботы, и у многих их несколько с разными задачами. Одни собирают тексты для обучения моделей. Другие работают как поисковые роботы нейропоиска — индексируют страницы, чтобы ChatGPT, Claude или Perplexity могли сослаться на них в ответе. Третьи заходят на страницу в момент, когда пользователь попросил нейросеть её открыть.

Это различие важно. Закрыв сайт от обучающего бота, вы не теряете ничего, кроме участия в обучении будущих моделей. Закрыв поискового — пропадаете из ответов нейропоиска, а значит, из канала, через который всё больше людей ищут товары и услуги.

Типы ботов

Назначение	Примеры	Что даёт доступ
Обучение моделей	GPTBot, ClaudeBot, CCBot, Google-Extended	Тексты сайта попадают в обучающие данные. Прямого трафика нет
Нейропоиск	OAI-SearchBot, Claude-SearchBot, PerplexityBot	Сайт может появиться в ответах со ссылкой на источник
Запрос пользователя	ChatGPT-User, Claude-User, Perplexity-User	Нейросеть открывает страницу, когда человек дал ей ссылку или попросил найти

Особые случаи

Google-Extended и Applebot-Extended — не отдельные роботы, а метки для robots.txt. Страницы по-прежнему обходят обычные Googlebot и Applebot, а запрет этих меток говорит: не используйте мои тексты для обучения Gemini или Apple Intelligence. На обычный поиск Google запрет Google-Extended не влияет.

CCBot собирает открытый архив Common Crawl, на котором обучались многие модели. Запрет закрывает сайт сразу для множества будущих нейросетей.

Что выбрать

Для коммерческого сайта, которому нужны клиенты из нейропоиска, разумная схема — открыть поисковых ботов и ботов по запросу пользователя, а обучающих — по желанию. Закрыть всё подряд — значит добровольно уйти из канала, который растёт быстрее остальных. Для сайтов с платным или уникальным контентом логика обратная: закрыть обучение, оставить поиск.

Частые вопросы

Не нашли ответ? Напишите в Telegram

Если закрыть GPTBot, сайт пропадёт из ChatGPT?

Нет. GPTBot собирает данные для обучения. За поиск в ChatGPT отвечает OAI-SearchBot, а за открытие страниц по просьбе пользователя — ChatGPT-User. Их нужно закрывать отдельно, если это действительно нужно.

Почему бот открыт, хотя в robots.txt его нет?

Если отдельной группы для бота нет, он следует общим правилам из группы User-agent: *. Раз там сайт открыт — открыт и для него.

Соблюдают ли нейросети robots.txt?

Крупные компании — OpenAI, Anthropic, Google, Perplexity — заявляют, что соблюдают. Но robots.txt — просьба, а не замок. Для жёсткой блокировки нужны настройки сервера или файрвола.

Как закрыть сайт от обучения, но оставить в нейропоиске?

Добавьте в robots.txt группы с запретом для обучающих ботов — GPTBot, ClaudeBot, CCBot, Google-Extended — и не трогайте поисковых. Удобно собрать файл в генераторе robots.txt.