Инструмент · бесплатно
Покажет, видят ли вашу страницу ChatGPT, Perplexity, Claude и другие нейросети: пускает ли ботов сервер и robots.txt, что остаётся от страницы без JavaScript, есть ли разметка Schema.org и llms.txt. Индекс готовности 0–100 и список исправлений.
Пять групп проверок
Нейросеть не может назвать компанию, страницы которой она не прочитала. Аудит сайта для нейросетей отвечает на три вопроса: доходит ли бот до страницы, что он там видит и понимает ли, кто перед ним. Баллы распределены по весу: доступ важнее всего, потому что без него остальное не имеет смысла.
35 баллов
Читаем robots.txt и решаем за каждого из 16 ботов, пускает ли его файл на страницу — по правилам Google и Яндекса. Затем заходим на страницу под именами GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot и Amazonbot и смотрим код ответа сервера. Разница между «robots.txt разрешает» и «сервер отдал 200» — главное, ради чего нужна проверка.
20 баллов
Считаем слова в HTML, который сервер отдал без выполнения скриптов. Большинство ИИ-ботов скрипты не выполняют: сайт на React или конструкторе без серверного рендеринга для них пустой, сколько бы текста ни было на экране.
15 баллов
Разбираем JSON-LD: есть ли сущность компании или автора (Organization, LocalBusiness, Person), размечен ли тип содержимого (Article, Service, FAQPage, Product) и хлебные крошки. Ломаный JSON считаем ошибкой: робот отбрасывает такой блок целиком.
10 баллов
Запрашиваем /llms.txt и проверяем, что это текст, а не HTML-заглушка с кодом 200, что есть заголовок и ссылки. Файл не обязателен, но боты OpenAI, Anthropic и Perplexity его запрашивают.
20 баллов
Title и description, один H1, подзаголовки H2, вопросы в заголовках или блок «вопрос — ответ», списки и таблицы, даты публикации и обновления, автор, контакты и реквизиты. Это то, из чего нейросеть собирает цитату и по чему решает, можно ли сайту верить.
Боты нейросетей
У каждой компании несколько роботов с разными задачами, и закрывать их стоит по-разному. Боты для обучения собирают тексты в датасеты; поисковые строят индекс для ответов со ссылками на источники; «пользовательские» открывают страницу, когда человек задал вопрос прямо сейчас. Яндекс Нейро и Алиса используют обычного YandexBot, Обзоры ИИ Google — Googlebot: отдельного бота у них нет.
| Бот | Компания | Роль | Что делает |
|---|---|---|---|
OAI-SearchBot |
OpenAI | поиск и ответы | Поиск ChatGPT: индекс для ответов со ссылками на источники |
ChatGPT-User |
OpenAI | по запросу человека | ChatGPT открывает страницу по запросу пользователя |
GPTBot |
OpenAI | обучение | Сбор данных для обучения моделей OpenAI |
Claude-SearchBot |
Anthropic | поиск и ответы | Поиск Claude: индекс для ответов со ссылками |
Claude-User |
Anthropic | по запросу человека | Claude открывает страницу по запросу пользователя |
ClaudeBot |
Anthropic | обучение | Обход сайтов для моделей Claude |
PerplexityBot |
Perplexity | поиск и ответы | Индекс Perplexity: ответы со ссылками на источники |
Perplexity-User |
Perplexity | по запросу человека | Perplexity открывает страницу по запросу пользователя |
Google-Extended |
имя в robots.txt | Имя в robots.txt: можно ли Gemini учиться на сайте и опираться на него в ответах. Обзоры ИИ в поиске Google используют обычного Googlebot | |
Applebot |
Apple | поиск и ответы | Siri, Spotlight и Apple Intelligence |
Applebot-Extended |
Apple | имя в robots.txt | Имя в robots.txt: разрешение учить модели Apple на сайте |
Amazonbot |
Amazon | поиск и ответы | Ответы Alexa и сервисов Amazon |
DuckAssistBot |
DuckDuckGo | поиск и ответы | Ответы DuckAssist со ссылками на источники |
meta-externalagent |
Meta | обучение | Обучение моделей Llama и Meta AI |
Bytespider |
ByteDance | обучение | Обучение моделей ByteDance (TikTok) |
CCBot |
Common Crawl | обучение | Открытый архив интернета, на нём учатся многие модели |
Проверка заходит на страницу под именами тех ботов, у которых есть строка User-Agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot и Amazonbot. Остальные оцениваются по robots.txt.
Частая ловушка
robots.txt — это просьба к роботу: «сюда не ходи». Защита от ботов на хостинге или CDN работает раньше, чем робот прочитает эту просьбу: она смотрит на строку User-Agent и адрес, с которого пришёл запрос, и «неизвестных» роботов отбрасывает с кодом 403 или 503. Поисковых роботов она знает и пропускает, а ИИ-боты для неё часто незнакомцы.
Снаружи это не видно: сайт открывается в браузере, robots.txt чист, в Вебмастере порядок. А GPTBot и ClaudeBot получают отказ на каждый второй запрос и в итоге перестают приходить. Мы ловили такое на хостингах с собственной защитой и на сайтах за Cloudflare, где блокировка ИИ-ботов включена по умолчанию для новых доменов.
Поэтому проверка не верит robots.txt на слово, а заходит на страницу под именами ботов и показывает, что ответил сервер каждому. Если ответ отличается от того, что получил браузер, причину нужно искать в настройках защиты, а не в robots.txt.
Оговорка про IP. Мы заходим с адреса нашего сервера, а не с адресов OpenAI или Anthropic. Защита, которая сверяет IP-адрес бота со списком компании, отсечёт именно нашу проверку, а настоящего бота пропустит. Если проверка показала отказ, сверьтесь с журналом доступа сервера: есть ли там GPTBot с кодом 200.
Чеклист
Шесть шагов в порядке убывания эффекта. Первые два открывают дверь, остальные делают так, чтобы за дверью было что цитировать.
Проверьте robots.txt: нет ли Disallow для OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot и Google-Extended. Затем посмотрите журнал сервера или запустите проверку выше: если бот получает 403 или 503, идите в настройки защиты хостинга или CDN и добавьте ботов в исключения.
Текст должен быть в ответе сервера, а не появляться после скриптов. Для сайтов на React, Vue и Next.js это серверный рендеринг или предварительная отрисовка; для WordPress и большинства CMS всё уже так.
Organization или LocalBusiness с названием, адресом, телефоном, логотипом и ссылками на профили. Для статей — Article с автором и датами, для услуг — Service, для вопросов — FAQPage. Проверьте разметку валидатором: ошибка в одной запятой обнуляет блок.
Люди спрашивают нейросеть вопросом. Поставьте вопрос в заголовок H2, а под ним — ответ одним абзацем, где первое предложение уже содержит суть: цену, срок, условие. Такие фрагменты модели цитируют целиком.
Цены с нижней границей, сроки, количество проектов, годы работы, адрес и ИНН. Размытые «индивидуально» и «быстро» нейросеть не процитирует, ей нечего переносить в ответ.
Файл в корне сайта: заголовок, абзац о компании, факты списком, разделы со ссылками и пояснением. Обновляйте dateModified, когда меняете цены: модели предпочитают свежие источники.
Термины разобраны в словаре: GEO-оптимизация, AI-поиск, llms.txt, robots.txt, Микроразметка, E-E-A-T.
Вопросы
Что ИИ-боты могут зайти на страницу, прочитать текст без выполнения скриптов и понять по разметке, кто вы и о чём страница. Тогда у нейросети есть из чего собрать ответ и на что сослаться. Инструмент проверяет именно это: доступ, читаемость и структуру. Попадёт ли сайт в конкретный ответ — зависит ещё и от содержания, его проверка не измеряет.
robots.txt — это просьба к роботу, а не замок. Сервер и защита от ботов могут не пускать ИИ-бота, даже когда robots.txt всё разрешает: хостинг отдаёт ему 403 или 503 как «неизвестному роботу». Поэтому мы не только читаем robots.txt, но и заходим на страницу под именами пяти ИИ-ботов и показываем, что ответил сервер каждому.
OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity, Google-Extended для Gemini, Applebot, Amazonbot, DuckAssistBot, а также боты для обучения Meta, ByteDance и Common Crawl. Яндекс Нейро и Алиса используют обычного YandexBot и поисковый индекс, Обзоры ИИ Google — Googlebot: если страница в индексе, этого достаточно.
Поисковики подтверждают своих роботов по IP-адресам. Если мы зайдём под именем YandexBot с адреса нашего сервера, грамотная защита сайта обязана нас отбить, и получится ложное «Яндекс не пускают». Доступ поисковых роботов проверяйте в Вебмастере и Search Console: там это делает сам поисковик.
Это решение владельца. GPTBot и ClaudeBot собирают данные для обучения моделей; на ответы со ссылками влияют другие боты — OAI-SearchBot, ChatGPT-User, PerplexityBot. Можно закрыть обучение и остаться в ответах: для этого в robots.txt запрещают только GPTBot, ClaudeBot, CCBot и Bytespider. Модели, которые учились на вашем сайте, чаще называют компанию и без поиска, так что полная блокировка — осознанный компромисс.
Нет. Это соглашение, а не стандарт, и ни один поисковик не обязан его читать. Но файл запрашивают боты OpenAI, Anthropic и Perplexity, а делается он за полчаса: заголовок, абзац о компании, факты с ценами и ссылки на главные страницы с пояснением. В проверке он даёт 10 баллов из 100.
Результат проверки хранится 20 минут, чтобы повторный запрос того же адреса не нагружал сайт ещё раз. Адреса и результаты никуда не передаются и для рекламы не используются. Проверять можно любой публичный сайт, в том числе конкурентов.
Ещё инструменты
Откроем доступ ботам, разметим сущности и ответы, соберём llms.txt и проверим, цитируют ли сайт ChatGPT, Perplexity и Нейро. От 34 900 ₽, 2–4 недели.
Сегодня
Здравствуйте. Напишите, что нужно сделать, — отвечу лично, без ботов и скриптов.
Отправляя сообщение, вы соглашаетесь с политикой конфиденциальности.
