Каких ИИ-ботов пускать в robots.txt?
Коротко
Разделяйте поисковых и обучающих ИИ-ботов. Пускайте ботов, которые забирают страницы для ответов (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User), иначе ассистенты не смогут на вас ссылаться. Обучающие боты (GPTBot, ClaudeBot, Google-Extended, CCBot и другие) — бизнес-решение. Затем проверьте, что фаервол не блокирует то, что разрешает robots.txt.
Почему robots.txt важен для видимости в ИИ?
Когда ИИ-ассистент ищет в интернете ответ на вопрос, он может процитировать только страницы, которые его краулеру разрешено забрать. Правило, скопированное из шаблона «запретить весь ИИ», может убрать ваш сайт из ответов ChatGPT, Claude или Perplexity, пока конкуренты в них остаются. Бывает и обратная ошибка: сайт хочет запретить обучение на своём контенте и заодно случайно блокирует поисковых ботов.
Какие основные ИИ-боты существуют?
| Компания | User agent | Назначение |
|---|---|---|
| OpenAI | OAI-SearchBot | Индекс для поиска ChatGPT |
| OpenAI | ChatGPT-User | Забирает страницы по запросу пользователя |
| OpenAI | GPTBot | Данные для обучения |
| Anthropic | Claude-SearchBot | Поисковый индекс для Claude |
| Anthropic | Claude-User | Забирает страницы по запросу пользователя |
| Anthropic | ClaudeBot | Данные для обучения |
| Perplexity | PerplexityBot | Поисковый индекс Perplexity |
| Perplexity | Perplexity-User | Забирает страницы по запросу пользователя |
| Google-Extended | Токен robots.txt для обучения Gemini и части его ответов с источниками; не влияет на Google Поиск и AI Overviews | |
| Apple | Applebot-Extended | Токен для отказа от обучения ИИ Apple; сам Applebot — поисковый краулер Apple |
| Common Crawl | CCBot | Открытый датасет, на котором обучают многие модели |
| Meta | Meta-ExternalAgent | Данные для обучения |
| Amazon | Amazonbot | Alexa и другие сервисы Amazon |
| ByteDance | Bytespider | Данные для обучения |
AI Overviews и AI Mode в Google используют обычный Googlebot. Блокировка Google-Extended не убирает вас оттуда, а блокировка Googlebot убирает вас из Google целиком.
Каких ботов пускать?
Пускайте поисковых и пользовательских ботов, если хотите, чтобы ИИ-ассистенты вас цитировали и рекомендовали. Они забирают страницы в момент, когда кто-то задаёт вопрос, — ровно тогда, когда вас нужно найти.
Решение по обучающим ботам принимайте исходя из бизнеса. Магазину или сервисной компании обычно выгодно, чтобы модели их хорошо знали, поэтому разрешать обучение разумно. Издатель, для которого контент и есть продукт, может предпочесть его запретить. Единственного правильного ответа нет, но это должно быть решение, а не случайность.
Готовый robots.txt: ИИ-поиск открыт, обучение закрыто
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /cart
Disallow: /admin/
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /cart
Disallow: /admin/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Bytespider
Disallow: /
Sitemap: https://вашсайт.com/sitemap.xml
Две детали, которые часто упускают:
- **Отдельная группа заменяет группу
.* Если создать для OAI-SearchBot группу только сAllow: /, бот проигнорирует ваши правилаDisallow: /cartиз*. Скопируйте служебные запреты в группу поисковых ИИ-ботов, как выше. - Несколько user agent могут делить одну группу, если перечислить их друг под другом перед правилами.
Чтобы открыть всё, поместите всех ИИ-ботов в одну группу с обычными ограничениями и поставьте ai-train=yes.
Что такое Content-Signal?
Content-Signal — строка, которую Cloudflare ввела в своей Content Signals Policy в 2025 году. Она выражает, как можно использовать контент после загрузки: search — для поисковых индексов и ссылок, ai-input — для использования в ответах ИИ, ai-train — для обучения моделей. Это заявление о предпочтениях, а не техническая блокировка, и ИИ-компании не обязаны его соблюдать. Добавить строку ничего не стоит, а ваше намерение становится явным.
Почему ботов блокирует, даже если robots.txt разрешает?
Потому что robots.txt — только просьба. Настоящий привратник — ваш сервер, CDN или фаервол. Частые причины:
- защита от ботов или переключатели «блокировать ИИ-скрейперы» в настройках CDN;
- правила WAF, которые показывают капчу незнакомым user agent;
- лимиты частоты запросов, отдающие краулерам 429 или 403;
- хостинги, блокирующие целые диапазоны IP дата-центров.
Проверьте логи фаервола на этих ботов или сравните, как главная страница отвечает обычному браузеру и user agent ИИ-бота. Наш бесплатный аудит делает такое сравнение для GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot. Учтите: некоторые сервисы защиты проверяют ботов по IP-адресу, поэтому тест с «одолженным» user agent может блокироваться, даже если настоящий бот разрешён. Последнее слово за логами.
Достаточно ли robots.txt, чтобы запретить обучение?
Добросовестные ИИ-компании заявляют, что их краулеры соблюдают robots.txt, но это не принуждение. Если запрет обучения критичен, сочетайте robots.txt с правилами фаервола для обучающих ботов и явно пропишите это в условиях использования.
Что ещё проверить?
noindexилиnoaiв meta robots или в заголовке X-Robots-Tag на ключевых страницах.- Текст, который появляется только после выполнения JavaScript (JavaScript и ИИ-краулеры).
- Sitemap, указанный в robots.txt.
- llms.txt, который открывается как настоящий файл, а не страница 404 (что такое llms.txt).
AI-Ready Pack генерирует robots.txt как в примере выше на основе вашего текущего файла: ваши правила сохраняются, заменяется только раздел для ИИ.