Готовність власних сайтів японських вебстудій до ШІ-пошуку: 2,357 сайтів (листопад 2026)

Ми завантажили головну сторінку, robots.txt і llms.txt 2,357 сайтів японських вебстудій. У 13.6% (321) був llms.txt, у 68.9% (1,624) — структуровані дані (JSON-LD), а 1.3% (28 із 2,158 сайтів з robots.txt) блокували в robots.txt принаймні одного ШІ-бота.

Опубліковано 2026-11-10. Дані зведено 2026-11-05. Дослідження Nurevo AEO (Bestie.合同会社). Nurevo продає інструменти оптимізації під ШІ-пошук (AEO), тому зацікавлений у цій темі.

Головні висновки

  1. У 13.6% сайтів японських вебстудій (321 із 2,357) є llms.txt; у 0.6% (14) є llms-full.txt.
  2. 1.3% (28 із 2,158 сайтів з robots.txt) блокують у robots.txt принаймні одного ШІ-бота. ШІ-краулерів майже ніхто не відсікає.
  3. У 68.9% є структуровані дані (JSON-LD), у 58.3% — вузол типу Organization, у 3.9% — FAQPage.

Про дослідження

  1. Генеральна сукупність: сайти 2,756 вебстудій у Японії, належність яких до вебстудій нам вдалося підтвердити. Це не вибірка з усіх сайтів компаній.
  2. Доступні: головну сторінку вдалося завантажити у 2,357 (85.5%). Усі результати стосуються цих 2,357 сайтів.
  3. Що завантажувалося: головна сторінка, /robots.txt, /llms.txt і /llms-full.txt кожного сайту, по одному разу (User-Agent: NurevoSurvey/1.0), на початку листопада 2026 року; дані зведено 2026-11-05.
  4. Критерії оцінки: структуровані дані — розбором JSON-LD головної сторінки з підрахунком значень @type (JSON-LD, який не вдається розібрати, вважається пошкодженим). llms.txt зараховується, якщо повертає статус 200 і текст не у форматі HTML довжиною понад 20 символів. У robots.txt бот вважається заблокованим, якщо застосовна до нього група забороняє головну сторінку (/) за правилом найдовшого збігу.
  5. Той самий прогін охопив і вебстудії за межами Японії (загалом 20,720 сайтів, доступні 15,657). Порівняння вийде окремим звітом.

Результати: основні пункти

Базові налаштування SEO (HTTPS, meta description, robots.txt, canonical) є на понад 80–90 відсотках сайтів. Новіші пункти, розраховані на ШІ, як-от llms.txt і FAQPage, поки що трапляються в меншості.

База: 2,357 сайтів японських вебстудій, головна сторінка яких була доступна. Рядки про robots.txt рахуються від 2,158 сайтів з robots.txt. Дані зведено 2026-11-05.
ПунктСайтиЧастка
Працює через HTTPS2,355 / 2,35799.9%
Зроблений на WordPress2,166 / 2,35791.9%
Є meta description2,139 / 2,35790.8%
Є robots.txt2,158 / 2,35791.6%
У robots.txt вказано Sitemap1,988 / 2,15892.1%
Є посилання canonical1,988 / 2,35784.3%
Є Open Graph (og:title)1,909 / 2,35781.0%
Є структуровані дані (JSON-LD)1,624 / 2,35768.9%
Є структуровані дані типу Organization1,373 / 2,35758.3%
Є llms.txt321 / 2,35713.6%
Є мікророзмітка schema.org (microdata)184 / 2,3577.8%
Є структуровані дані FAQPage92 / 2,3573.9%
robots.txt блокує принаймні одного ШІ-бота28 / 2,1581.3%
Є llms-full.txt14 / 2,3570.6%

Як robots.txt поводиться з ШІ-краулерами

Із 2,158 сайтів з robots.txt 2.5% (54) згадують ШІ-бота на ім'я, а 1.3% (28) забороняють головну сторінку принаймні одному ШІ-боту. Більшість блокувань спрямовано проти краулерів для навчання (GPTBot, Google-Extended, CCBot та подібних). Пошукові краулери OAI-SearchBot і Claude-SearchBot не заблокував жоден сайт.

База: 2,158 сайтів з robots.txt. «Заблоковано» означає, що застосовна до бота група забороняє /.
БотСайтів, що блокуютьЧастка
GPTBot (OpenAI)271.3%
Google-Extended (Google)241.1%
CCBot (Common Crawl)241.1%
Bytespider (ByteDance)241.1%
anthropic-ai (Anthropic)221.0%
ClaudeBot (Anthropic)211.0%
Applebot-Extended (Apple)211.0%
ChatGPT-User (OpenAI)20.1%
PerplexityBot (Perplexity)10.05%
OAI-SearchBot (OpenAI)00%
Claude-SearchBot (Anthropic)00%
Googlebot (Google)00%
Bingbot (Microsoft)00%

llms.txt

У 321 із 2,357 сайтів (13.6%) є llms.txt. Медіанна довжина такого llms.txt — 96 рядків. У 14 сайтів (0.6%) є також повнотекстовий llms-full.txt.

Типи структурованих даних

Із 1,624 сайтів з JSON-LD у 1.7% (27) є JSON-LD, який не вдається розібрати. Найчастіше трапляються типи WebSite, Organization і BreadcrumbList; PostalAddress є на 16.3% сайтів, LocalBusiness — на 5.3%, FAQPage — на 3.9%.

Значення @type, знайдені в JSON-LD головної сторінки, включно з вкладеними. База: 2,357 сайтів.
@typeЧастка
WebSite62.4%
Organization53.7%
BreadcrumbList43.0%
ImageObject38.1%
WebPage34.1%
SearchAction28.6%
PostalAddress16.3%
Person10.1%
ContactPoint6.4%
ProfessionalService5.6%
LocalBusiness5.3%
FAQPage3.9%

Перевірка за шістьма пунктами

Ми порахували, скільки з шести пунктів виконує кожен сайт: (1) є llms.txt; (2) є JSON-LD; (3) є тип Organization або LocalBusiness; (4) є robots.txt, який не блокує жодного з GPTBot, ClaudeBot, PerplexityBot і OAI-SearchBot; (5) є meta description; (6) є посилання canonical. Це простий підрахунок, зроблений для цього дослідження, а не продуктова оцінка Nurevo за шкалою 0–100. У середньому виконується 4.0 пункту; усі шість — у 10.5%.

База: 2,357 сайтів.
Виконано пунктівСайтиЧастка
0401.7%
11164.9%
225410.8%
336915.7%
436015.3%
597141.2%
624710.5%

Як цитувати дослідження

Цифри й таблиці можна вільно цитувати та передруковувати за умови зазначення джерела «Nurevo AEO survey (nurevo.jp)» і посилання на цю сторінку. Готові формулювання для цитування:

  1. У 13.6% із 2,357 сайтів японських вебстудій був файл llms.txt (дослідження Nurevo AEO, листопад 2026).
  2. Лише 1.3% сайтів японських вебстудій (28 із 2,158 з robots.txt) блокували ШІ-бота в robots.txt (дослідження Nurevo AEO, листопад 2026).
  3. У 68.9% сайтів японських вебстудій на головній сторінці були структуровані дані JSON-LD, але FAQPage — лише у 3.9% (дослідження Nurevo AEO, листопад 2026).
  4. 91.9% сайтів японських вебстудій працюють на WordPress (дослідження Nurevo AEO, листопад 2026).

Обмеження

  1. Перевірялася лише головна сторінка. Структуровані дані внутрішніх сторінок і стан сайту загалом не враховано.
  2. robots.txt оцінювався лише для головної сторінки (/). Сайт, що блокує лише окремі каталоги, вважається таким, що не блокує. Блокування іншими засобами (фаєрволи, захист від ботів на CDN) не вимірювалося.
  3. Сукупність — власні сайти вебстудій, а не компаній загалом. Список студій складено нами, і він охоплює не всі студії Японії.
  4. Одне завантаження на сайт: 399 сайтів, головна сторінка яких була недоступна (включно з тимчасовими помилками), виключено. Для llms.txt перевірялася лише його наявність, а не якість.

Наше тлумачення (думка)

Далі — наша думка, а не результат дослідження. Базові налаштування SEO на сайтах студій здебільшого на місці, і ШІ-краулерів відсікають дуже небагато. Пункти, що допомагають ШІ читати відомості про компанію, як-от llms.txt і FAQPage, поки що є лише на частині сайтів. Їх додавання не гарантує появи у відповідях ШІ (в іншому нашому дослідженні сигнали на сайті не показали зв'язку з появою у відповідях), але ми вважаємо, що їх варто перевірити як основу для того, щоб ШІ правильно зчитував факти про компанію.

Перевірте свій сайт або сайти клієнтів

Безкоштовна перевірка приблизно за хвилину показує llms.txt, структуровані дані та доступ ШІ-краулерів. На WordPress плагін Nurevo WebMCP публікує llms.txt і структуровані дані. Студіям, які хочуть упровадити його на сайтах клієнтів, варто переглянути партнерську програму.

Поширені запитання

Наскільки поширений llms.txt на сайтах японських вебстудій?

У цьому дослідженні llms.txt був у 321 із 2,357 сайтів японських вебстудій (13.6%) (листопад 2026).

Чи багато студій блокують ШІ-краулерів у robots.txt?

Небагато. Із 2,158 сайтів з robots.txt 28 (1.3%) блокували принаймні одного ШІ-бота. Пошукові краулери OAI-SearchBot і Claude-SearchBot не блокував ніхто.

Чи стосуються ці цифри сайтів компаній загалом?

Не обов'язково. Дослідження охоплює власні сайти вебстудій, і лише їхні головні сторінки.

Чи можна використати ці цифри в статті?

Так. Зазначте джерело «Nurevo AEO survey (nurevo.jp)» і дайте посилання на цю сторінку — і цифри можна вільно цитувати та передруковувати.