Сайт и сервер / Robots.txt
Robots.txt
Соберите robots.txt, проверьте готовый файл и узнайте, откроет ли конкретный робот нужный адрес. Правила Яндекса и Google обрабатываются раздельно.
Что загрузитьГотовый robots.txt или параметры сайта.
Что получитьФайл, список ошибок и предупреждений, вердикт по адресам для выбранных роботов.
Полные адреса или пути, по одному в строке.
Робот выбирает свою группу User-agent. Если для него нет отдельной группы, действует «*».
| Яндекс | ||
|---|---|---|
| Директивы | User-agent, Disallow, Allow, Sitemap, Clean-param. Crawl-delay не учитывается с 22.02.2018, скорость обхода задаётся в Яндекс Вебмастере | User-agent, Allow, Disallow, Sitemap. Остальные поля, в том числе crawl-delay, игнорируются |
| Приоритет правил | Правила сортируются по длине префикса, действует самое длинное. При равной длине приоритет у Allow | Действует самое специфичное (длинное) правило. При равной длине побеждает менее ограничивающее, то есть Allow |
| Спецсимволы | * любая последовательность, $ конец адреса. «*» в конце правила подразумевается | * любая последовательность, $ конец адреса |
| Группы | Робот читает свою группу (Yandex или YandexBot). Если она есть, группа «*» не применяется, правила нужно дублировать | Применяется самая точная группа для робота. Несколько групп с одним токеном объединяются |
| Регистр | Названия директив не чувствительны, пути и имена роботов чувствительны | Названия директив не чувствительны, значения (пути) чувствительны |
| Размер файла | До 500 КБ | До 500 КиБ, остальное игнорируется |
| Кодировка, кириллица | Кириллицу в файле использовать нельзя: домены в Punycode, пути в URL-кодировке | UTF-8 |
| Ответ сервера на robots.txt | Должен быть 200 OK. Допустим редирект на другой robots.txt, который отвечает 200 | 2xx: файл читается. 4xx: файла нет, ограничений нет. 5xx: сначала обход останавливается, затем до 30 дней используется кэш копии |
| Кэш | — | Обычно до 24 часов |
| Дубли с параметрами | Clean-param в robots.txt и canonical | rel=canonical, редиректы. Закрытие через Disallow не убирает адрес из индекса, если на него есть ссылки |
| Запрет индексации | meta robots или X-Robots-Tag. В robots.txt директивы noindex нет | meta robots или X-Robots-Tag. noindex в robots.txt не поддерживается |
Сверено с актуальными справками Яндекса и Google. Правила меняются, перед внедрением перепроверьте их в справке.
Токены в robots.txt для роботов, которые собирают контент для моделей и ответов. Соблюдение robots.txt остаётся решением оператора робота. Для жёсткой блокировки используйте фильтр по IP на уровне сервера или WAF.
| Токен | Что делает | Что даёт запрет |
|---|---|---|
GPTBot | OpenAI, сбор данных для обучения моделей | Контент не используется для обучения |
OAI-SearchBot | OpenAI, поиск в ChatGPT | Сайт не попадает в поисковые ответы ChatGPT. Изменения учитываются примерно за 24 часа |
ChatGPT-User | Заходит по действию пользователя в ChatGPT и GPT | По документации OpenAI robots.txt к нему не применяется |
ClaudeBot | Anthropic, сбор данных для обучения | Контент не попадает в будущие обучающие наборы |
Claude-SearchBot | Anthropic, индексация для поиска | Сайт хуже виден в результатах поиска Claude |
Claude-User | Anthropic, страницы по запросам пользователей | Claude не откроет страницу по просьбе пользователя |
Google-Extended | Токен Google, не отдельный робот. Управляет использованием контента для Gemini | Не влияет на попадание сайта в Поиск Google |
PerplexityBot, Perplexity-User | Perplexity: индексация и обращения по запросу | Сайт не попадает в ответы Perplexity |
YandexAdditional, YandexAdditionalBot | По данным каталогов роботов, используются для быстрых ответов YandexGPT в Поиске | Уточните назначение в справке Яндекса перед запретом |
Applebot-Extended | Токен Apple для использования контента в AI-функциях | Обычный Applebot продолжает индексировать сайт |
CCBot, Bytespider, Meta-ExternalAgent | Common Crawl, ByteDance, Meta: сбор данных, в том числе для обучения | Контент не попадает в эти наборы данных |
Anthropic сообщает, что три её робота учитывают robots.txt и директиву Crawl-delay, а список их IP опубликован в файле claude.com/crawling/bots.json. У OpenAI диапазоны IP публикуются для каждого робота.
Как пользоваться
- Во вкладке «Генератор» выберите тип сайта, добавьте sitemap и настройки ИИ-ботов.
- Во вкладке «Анализ файла» найдите ошибки в готовом файле.
- Во вкладке «Проверка URL» введите адреса и выберите робота.
- Скопируйте файл и разместите по адресу /robots.txt.
Что важно знать
- Яндекс и Google по-разному выбирают группу правил и поддерживают разные директивы. Например, Clean-param есть только у Яндекса, Crawl-delay Яндекс не учитывает, а Google игнорирует.
- Disallow не удаляет страницу из индекса. Для этого используйте noindex или удаление.
- ИИ-боты бывают обучающие, поисковые и пользовательские. Закрывая обучающих, вы не теряете поисковый трафик.
Вопросы
- Нужен ли llms.txt?
- Нет. Для управления доступом ИИ-ботов используется robots.txt.