RU
Бесплатный аудит

Читают ли ИИ-краулеры сайты на JavaScript?

Обновлено 3 мин чтения

Коротко

Чаще всего нет. Краулеры ChatGPT, Claude и Perplexity, как правило, читают сырой HTML, который отдаёт сервер, и не запускают JavaScript, поэтому текст, отрисованный в браузере, для них невидим. Системы Google JavaScript рендерят, остальные в основном нет. Проверьте страницы с отключённым JavaScript и исправляйте серверным рендерингом, статической генерацией или пререндерингом.

Почему JavaScript важен для видимости в ИИ?

Многие современные сайты отдают браузеру почти пустой HTML и пачку JavaScript, которая собирает страницу. Люди видят страницу целиком, потому что браузер выполняет скрипты. Краулер, который JavaScript не выполняет, видит только пустую оболочку: заголовок, может быть меню и <div id="app"></div>.

Если описания товаров, цены, условия доставки и информация о компании появляются только после работы скриптов, ИИ-краулеру, пропускающему JavaScript, нечего читать, нечего цитировать и не с чего вас рекомендовать.

Какие ИИ-краулеры выполняют JavaScript?

Рендеринг JavaScript дорог, и большинство ИИ-краулеров его пропускают:

КраулерВыполняет JavaScript?
Googlebot (Google Поиск, AI Overviews, ответы Gemini с поиском)Да
BingbotДа, с ограничениями
GPTBot, OAI-SearchBot, ChatGPT-UserКак правило, нет
ClaudeBot, Claude-SearchBot, Claude-UserКак правило, нет
PerplexityBotКак правило, нет
CCBot (Common Crawl)Нет

Анализ, опубликованный Vercel в конце 2024 года по сотням миллионов запросов краулеров, показал: краулеры OpenAI и Anthropic скачивают файлы JavaScript, но не выполняют их. Краулеры меняются, так что считайте это текущей картиной, а не вечным правилом, но проектируйте под худший случай: если текста нет в HTML, считайте, что ИИ его не видит.

Как проверить свой сайт?

Три быстрых способа:

  1. Посмотреть исходный код. Откройте ключевую страницу, нажмите Ctrl+U (или Cmd+Option+U) и поищите фразу из видимого текста. Если её нет в исходнике, текст отрисовывает JavaScript.
  2. Отключить JavaScript. В Chrome DevTools откройте меню команд (Ctrl+Shift+P), введите «Disable JavaScript» и перезагрузите страницу. То, что осталось, примерно и видят ИИ-краулеры.
  3. Запросить страницу с user agent бота. Выполните curl -A "GPTBot" https://вашсайт.com/страница и посмотрите на текст в ответе. Заодно увидите, если фаервол блокирует ботов.

Наш бесплатный аудит считает читаемые слова на ключевых страницах без выполнения скриптов и отмечает страницы, которые выглядят пустыми.

Какие страницы важнее всего?

Весь сайт сразу исправлять не нужно. Начните со страниц, которые отвечают на вопросы клиентов к ИИ:

  • главная и «О компании» (кто вы, что предлагаете, где);
  • основные категории или услуги;
  • топовые карточки товаров (название, ключевые характеристики, цена, наличие);
  • доставка, оплата, возврат и гарантия;
  • контакты и адреса;
  • FAQ и статьи.

Какие есть решения?

ПодходКак работаетПодходит для
Серверный рендеринг (SSR)Сервер собирает полный HTML на каждый запросДинамичные сайты: магазины, каталоги
Статическая генерация (SSG)Страницы собираются в HTML при деплоеКонтентные сайты, лендинги, блоги
Инкрементальный или гибридный рендерингСтатические страницы обновляются по расписаниюБольшие каталоги
Пререндеринг для ботовСервис отдаёт краулерам отрисованный HTMLСтарые SPA, которые нельзя переписать
Прогрессивное улучшениеОсновной текст в HTML, JavaScript добавляет интерактивностьЛюбой сайт

Фреймворки Next.js, Nuxt, SvelteKit, Astro и Remix поддерживают SSR или SSG из коробки. Для существующего одностраничного приложения на React или Vue самый быстрый вариант — слой пререндеринга, но следите, чтобы боты и люди получали одинаковый контент: разный контент для краулеров — это клоакинг.

А что с контентом во вкладках, аккордеонах и слайдерах?

Если текст есть в HTML и только скрыт через CSS, краулеры его прочитают. Если вкладка загружает содержимое из API только по клику — нет. Характеристики и отзывы о товарах часто страдают именно так; держите их в исходном HTML.

Касается ли это разметки?

Да. JSON-LD, который добавляет JavaScript, например через менеджер тегов, может так и не дойти до краулеров, которые не рендерят. Размещайте разметку schema прямо в HTML, который отдаёт сервер.

Решает ли проблему llms-full.txt?

Отчасти. Чистая Markdown-копия ключевых страниц в llms-full.txt даёт инструментам, которые её читают, удобную версию контента. Но это не подтверждённый источник для ответов ИИ, а ассистенты с веб-поиском читают ваши обычные страницы. Сначала исправьте рендеринг.

Если сайт сделан на JavaScript-фреймворке, AI-Ready Pack точно покажет, какие страницы пусты без скриптов, и даст файлы, которые можно опубликовать, пока разработчики занимаются рендерингом.