Читают ли ИИ-краулеры сайты на JavaScript?
Коротко
Чаще всего нет. Краулеры ChatGPT, Claude и Perplexity, как правило, читают сырой HTML, который отдаёт сервер, и не запускают JavaScript, поэтому текст, отрисованный в браузере, для них невидим. Системы Google JavaScript рендерят, остальные в основном нет. Проверьте страницы с отключённым JavaScript и исправляйте серверным рендерингом, статической генерацией или пререндерингом.
Почему JavaScript важен для видимости в ИИ?
Многие современные сайты отдают браузеру почти пустой HTML и пачку JavaScript, которая собирает страницу. Люди видят страницу целиком, потому что браузер выполняет скрипты. Краулер, который JavaScript не выполняет, видит только пустую оболочку: заголовок, может быть меню и <div id="app"></div>.
Если описания товаров, цены, условия доставки и информация о компании появляются только после работы скриптов, ИИ-краулеру, пропускающему JavaScript, нечего читать, нечего цитировать и не с чего вас рекомендовать.
Какие ИИ-краулеры выполняют JavaScript?
Рендеринг JavaScript дорог, и большинство ИИ-краулеров его пропускают:
| Краулер | Выполняет JavaScript? |
|---|---|
| Googlebot (Google Поиск, AI Overviews, ответы Gemini с поиском) | Да |
| Bingbot | Да, с ограничениями |
| GPTBot, OAI-SearchBot, ChatGPT-User | Как правило, нет |
| ClaudeBot, Claude-SearchBot, Claude-User | Как правило, нет |
| PerplexityBot | Как правило, нет |
| CCBot (Common Crawl) | Нет |
Анализ, опубликованный Vercel в конце 2024 года по сотням миллионов запросов краулеров, показал: краулеры OpenAI и Anthropic скачивают файлы JavaScript, но не выполняют их. Краулеры меняются, так что считайте это текущей картиной, а не вечным правилом, но проектируйте под худший случай: если текста нет в HTML, считайте, что ИИ его не видит.
Как проверить свой сайт?
Три быстрых способа:
- Посмотреть исходный код. Откройте ключевую страницу, нажмите Ctrl+U (или Cmd+Option+U) и поищите фразу из видимого текста. Если её нет в исходнике, текст отрисовывает JavaScript.
- Отключить JavaScript. В Chrome DevTools откройте меню команд (Ctrl+Shift+P), введите «Disable JavaScript» и перезагрузите страницу. То, что осталось, примерно и видят ИИ-краулеры.
- Запросить страницу с user agent бота. Выполните
curl -A "GPTBot" https://вашсайт.com/страницаи посмотрите на текст в ответе. Заодно увидите, если фаервол блокирует ботов.
Наш бесплатный аудит считает читаемые слова на ключевых страницах без выполнения скриптов и отмечает страницы, которые выглядят пустыми.
Какие страницы важнее всего?
Весь сайт сразу исправлять не нужно. Начните со страниц, которые отвечают на вопросы клиентов к ИИ:
- главная и «О компании» (кто вы, что предлагаете, где);
- основные категории или услуги;
- топовые карточки товаров (название, ключевые характеристики, цена, наличие);
- доставка, оплата, возврат и гарантия;
- контакты и адреса;
- FAQ и статьи.
Какие есть решения?
| Подход | Как работает | Подходит для |
|---|---|---|
| Серверный рендеринг (SSR) | Сервер собирает полный HTML на каждый запрос | Динамичные сайты: магазины, каталоги |
| Статическая генерация (SSG) | Страницы собираются в HTML при деплое | Контентные сайты, лендинги, блоги |
| Инкрементальный или гибридный рендеринг | Статические страницы обновляются по расписанию | Большие каталоги |
| Пререндеринг для ботов | Сервис отдаёт краулерам отрисованный HTML | Старые SPA, которые нельзя переписать |
| Прогрессивное улучшение | Основной текст в HTML, JavaScript добавляет интерактивность | Любой сайт |
Фреймворки Next.js, Nuxt, SvelteKit, Astro и Remix поддерживают SSR или SSG из коробки. Для существующего одностраничного приложения на React или Vue самый быстрый вариант — слой пререндеринга, но следите, чтобы боты и люди получали одинаковый контент: разный контент для краулеров — это клоакинг.
А что с контентом во вкладках, аккордеонах и слайдерах?
Если текст есть в HTML и только скрыт через CSS, краулеры его прочитают. Если вкладка загружает содержимое из API только по клику — нет. Характеристики и отзывы о товарах часто страдают именно так; держите их в исходном HTML.
Касается ли это разметки?
Да. JSON-LD, который добавляет JavaScript, например через менеджер тегов, может так и не дойти до краулеров, которые не рендерят. Размещайте разметку schema прямо в HTML, который отдаёт сервер.
Решает ли проблему llms-full.txt?
Отчасти. Чистая Markdown-копия ключевых страниц в llms-full.txt даёт инструментам, которые её читают, удобную версию контента. Но это не подтверждённый источник для ответов ИИ, а ассистенты с веб-поиском читают ваши обычные страницы. Сначала исправьте рендеринг.
Если сайт сделан на JavaScript-фреймворке, AI-Ready Pack точно покажет, какие страницы пусты без скриптов, и даст файлы, которые можно опубликовать, пока разработчики занимаются рендерингом.