Готовность собственных сайтов японских веб-студий к ИИ-поиску: 2,357 сайтов (ноябрь 2026)

Мы загрузили главную страницу, robots.txt и llms.txt 2,357 сайтов японских веб-студий. У 13.6% (321) был llms.txt, у 68.9% (1,624) — структурированные данные (JSON-LD), а 1.3% (28 из 2,158 сайтов с robots.txt) блокировали в robots.txt хотя бы одного ИИ-бота.

Опубликовано 2026-11-10. Данные сведены 2026-11-05. Исследование Nurevo AEO (Bestie.合同会社). Nurevo продаёт инструменты оптимизации под ИИ-поиск (AEO) и поэтому заинтересован в этой теме.

Главные выводы

  1. У 13.6% сайтов японских веб-студий (321 из 2,357) есть llms.txt; у 0.6% (14) есть llms-full.txt.
  2. 1.3% (28 из 2,158 сайтов с robots.txt) блокируют в robots.txt хотя бы одного ИИ-бота. ИИ-краулеров почти никто не отсекает.
  3. У 68.9% есть структурированные данные (JSON-LD), у 58.3% — узел типа Organization, у 3.9% — FAQPage.

Об исследовании

  1. Генеральная совокупность: сайты 2,756 веб-студий в Японии, принадлежность которых к веб-студиям нам удалось подтвердить. Это не выборка из всех сайтов компаний.
  2. Доступны: главную страницу удалось загрузить у 2,357 (85.5%). Все результаты относятся к этим 2,357 сайтам.
  3. Что загружалось: главная страница, /robots.txt, /llms.txt и /llms-full.txt каждого сайта, по одному разу (User-Agent: NurevoSurvey/1.0), в начале ноября 2026 года; данные сведены 2026-11-05.
  4. Критерии оценки: структурированные данные — разбором JSON-LD главной страницы с подсчётом значений @type (JSON-LD, который не удаётся разобрать, считается повреждённым). llms.txt засчитывается, если возвращает статус 200 и текст не в формате HTML длиной более 20 символов. В robots.txt бот считается заблокированным, если применимая к нему группа запрещает главную страницу (/) по правилу самого длинного совпадения.
  5. Тот же прогон охватил и веб-студии за пределами Японии (всего 20,720 сайтов, доступны 15,657). Сравнение выйдет отдельным отчётом.

Результаты: основные пункты

Базовые настройки SEO (HTTPS, meta description, robots.txt, canonical) есть более чем на 80–90 процентах сайтов. Новые пункты, рассчитанные на ИИ, такие как llms.txt и FAQPage, пока встречаются у меньшинства.

База: 2,357 сайтов японских веб-студий, главная страница которых была доступна. Строки про robots.txt считаются от 2,158 сайтов с robots.txt. Данные сведены 2026-11-05.
ПунктСайтыДоля
Работает по HTTPS2,355 / 2,35799.9%
Сделан на WordPress2,166 / 2,35791.9%
Есть meta description2,139 / 2,35790.8%
Есть robots.txt2,158 / 2,35791.6%
В robots.txt указан Sitemap1,988 / 2,15892.1%
Есть ссылка canonical1,988 / 2,35784.3%
Есть Open Graph (og:title)1,909 / 2,35781.0%
Есть структурированные данные (JSON-LD)1,624 / 2,35768.9%
Есть структурированные данные типа Organization1,373 / 2,35758.3%
Есть llms.txt321 / 2,35713.6%
Есть микроразметка schema.org (microdata)184 / 2,3577.8%
Есть структурированные данные FAQPage92 / 2,3573.9%
robots.txt блокирует хотя бы одного ИИ-бота28 / 2,1581.3%
Есть llms-full.txt14 / 2,3570.6%

Как robots.txt обращается с ИИ-краулерами

Из 2,158 сайтов с robots.txt 2.5% (54) упоминают ИИ-бота по имени, а 1.3% (28) запрещают главную страницу хотя бы одному ИИ-боту. Большинство блокировок направлено против краулеров для обучения (GPTBot, Google-Extended, CCBot и подобных). Поисковые краулеры OAI-SearchBot и Claude-SearchBot не заблокировал ни один сайт.

База: 2,158 сайтов с robots.txt. «Заблокирован» означает, что применимая к боту группа запрещает /.
БотБлокирующих сайтовДоля
GPTBot (OpenAI)271.3%
Google-Extended (Google)241.1%
CCBot (Common Crawl)241.1%
Bytespider (ByteDance)241.1%
anthropic-ai (Anthropic)221.0%
ClaudeBot (Anthropic)211.0%
Applebot-Extended (Apple)211.0%
ChatGPT-User (OpenAI)20.1%
PerplexityBot (Perplexity)10.05%
OAI-SearchBot (OpenAI)00%
Claude-SearchBot (Anthropic)00%
Googlebot (Google)00%
Bingbot (Microsoft)00%

llms.txt

У 321 из 2,357 сайтов (13.6%) есть llms.txt. Медианная длина такого llms.txt — 96 строк. У 14 сайтов (0.6%) есть также полнотекстовый llms-full.txt.

Типы структурированных данных

Из 1,624 сайтов с JSON-LD у 1.7% (27) есть JSON-LD, который не удаётся разобрать. Чаще всего встречаются типы WebSite, Organization и BreadcrumbList; PostalAddress есть на 16.3% сайтов, LocalBusiness — на 5.3%, FAQPage — на 3.9%.

Значения @type, найденные в JSON-LD главной страницы, включая вложенные. База: 2,357 сайтов.
@typeДоля
WebSite62.4%
Organization53.7%
BreadcrumbList43.0%
ImageObject38.1%
WebPage34.1%
SearchAction28.6%
PostalAddress16.3%
Person10.1%
ContactPoint6.4%
ProfessionalService5.6%
LocalBusiness5.3%
FAQPage3.9%

Проверка по шести пунктам

Мы посчитали, сколько из шести пунктов выполняет каждый сайт: (1) есть llms.txt; (2) есть JSON-LD; (3) есть тип Organization или LocalBusiness; (4) есть robots.txt, который не блокирует ни GPTBot, ни ClaudeBot, ни PerplexityBot, ни OAI-SearchBot; (5) есть meta description; (6) есть ссылка canonical. Это простой подсчёт, сделанный для этого исследования, а не продуктовая оценка Nurevo по шкале 0–100. В среднем выполняется 4.0 пункта; все шесть — у 10.5%.

База: 2,357 сайтов.
Выполнено пунктовСайтыДоля
0401.7%
11164.9%
225410.8%
336915.7%
436015.3%
597141.2%
624710.5%

Как цитировать исследование

Цифры и таблицы можно свободно цитировать и перепубликовывать при условии указания источника «Nurevo AEO survey (nurevo.jp)» и ссылки на эту страницу. Готовые формулировки для цитирования:

  1. У 13.6% из 2,357 сайтов японских веб-студий был файл llms.txt (исследование Nurevo AEO, ноябрь 2026).
  2. Лишь 1.3% сайтов японских веб-студий (28 из 2,158 с robots.txt) блокировали ИИ-бота в robots.txt (исследование Nurevo AEO, ноябрь 2026).
  3. У 68.9% сайтов японских веб-студий на главной странице были структурированные данные JSON-LD, но FAQPage — лишь у 3.9% (исследование Nurevo AEO, ноябрь 2026).
  4. 91.9% сайтов японских веб-студий работают на WordPress (исследование Nurevo AEO, ноябрь 2026).

Ограничения

  1. Проверялась только главная страница. Структурированные данные внутренних страниц и состояние сайта в целом не учтены.
  2. robots.txt оценивался только для главной страницы (/). Сайт, блокирующий лишь отдельные каталоги, считается неблокирующим. Блокировка другими средствами (файрволы, защита от ботов на CDN) не измерялась.
  3. Совокупность — собственные сайты веб-студий, а не компаний в целом. Список студий составлен нами и охватывает не все студии Японии.
  4. Одна загрузка на сайт: 399 сайтов, главная страница которых была недоступна (включая временные ошибки), исключены. Для llms.txt проверялось только его наличие, а не качество.

Наша интерпретация (мнение)

Далее — наше мнение, а не результат исследования. Базовые настройки SEO на сайтах студий в основном на месте, и ИИ-краулеров отсекают очень немногие. Пункты, которые помогают ИИ читать сведения о компании, например llms.txt и FAQPage, пока есть лишь на части сайтов. Их добавление не гарантирует появления в ответах ИИ (в другом нашем исследовании сигналы на сайте не показали связи с появлением в ответах), но мы считаем, что их стоит проверить как основу для того, чтобы ИИ правильно считывал факты о компании.

Проверьте свой сайт или сайты клиентов

Бесплатная проверка примерно за минуту показывает llms.txt, структурированные данные и доступ ИИ-краулеров. На WordPress плагин Nurevo WebMCP публикует llms.txt и структурированные данные. Студиям, которые хотят внедрить его на сайтах клиентов, стоит посмотреть партнёрскую программу.

Частые вопросы

Насколько распространён llms.txt на сайтах японских веб-студий?

В этом исследовании llms.txt был у 321 из 2,357 сайтов японских веб-студий (13.6%) (ноябрь 2026).

Много ли студий блокируют ИИ-краулеров в robots.txt?

Немного. Из 2,158 сайтов с robots.txt 28 (1.3%) блокировали хотя бы одного ИИ-бота. Поисковые краулеры OAI-SearchBot и Claude-SearchBot не блокировал никто.

Применимы ли эти цифры к сайтам компаний в целом?

Не обязательно. Исследование охватывает собственные сайты веб-студий, и только их главные страницы.

Можно ли использовать эти цифры в статье?

Да. Укажите источник «Nurevo AEO survey (nurevo.jp)» и дайте ссылку на эту страницу — и цифры можно свободно цитировать и перепубликовывать.