Готовность собственных сайтов японских веб-студий к ИИ-поиску: 2,357 сайтов (ноябрь 2026)
Мы загрузили главную страницу, robots.txt и llms.txt 2,357 сайтов японских веб-студий. У 13.6% (321) был llms.txt, у 68.9% (1,624) — структурированные данные (JSON-LD), а 1.3% (28 из 2,158 сайтов с robots.txt) блокировали в robots.txt хотя бы одного ИИ-бота.
Опубликовано 2026-11-10. Данные сведены 2026-11-05. Исследование Nurevo AEO (Bestie.合同会社). Nurevo продаёт инструменты оптимизации под ИИ-поиск (AEO) и поэтому заинтересован в этой теме.
Главные выводы
- У 13.6% сайтов японских веб-студий (321 из 2,357) есть llms.txt; у 0.6% (14) есть llms-full.txt.
- 1.3% (28 из 2,158 сайтов с robots.txt) блокируют в robots.txt хотя бы одного ИИ-бота. ИИ-краулеров почти никто не отсекает.
- У 68.9% есть структурированные данные (JSON-LD), у 58.3% — узел типа Organization, у 3.9% — FAQPage.
Об исследовании
- Генеральная совокупность: сайты 2,756 веб-студий в Японии, принадлежность которых к веб-студиям нам удалось подтвердить. Это не выборка из всех сайтов компаний.
- Доступны: главную страницу удалось загрузить у 2,357 (85.5%). Все результаты относятся к этим 2,357 сайтам.
- Что загружалось: главная страница, /robots.txt, /llms.txt и /llms-full.txt каждого сайта, по одному разу (User-Agent: NurevoSurvey/1.0), в начале ноября 2026 года; данные сведены 2026-11-05.
- Критерии оценки: структурированные данные — разбором JSON-LD главной страницы с подсчётом значений @type (JSON-LD, который не удаётся разобрать, считается повреждённым). llms.txt засчитывается, если возвращает статус 200 и текст не в формате HTML длиной более 20 символов. В robots.txt бот считается заблокированным, если применимая к нему группа запрещает главную страницу (/) по правилу самого длинного совпадения.
- Тот же прогон охватил и веб-студии за пределами Японии (всего 20,720 сайтов, доступны 15,657). Сравнение выйдет отдельным отчётом.
Результаты: основные пункты
Базовые настройки SEO (HTTPS, meta description, robots.txt, canonical) есть более чем на 80–90 процентах сайтов. Новые пункты, рассчитанные на ИИ, такие как llms.txt и FAQPage, пока встречаются у меньшинства.
| Пункт | Сайты | Доля |
|---|---|---|
| Работает по HTTPS | 2,355 / 2,357 | 99.9% |
| Сделан на WordPress | 2,166 / 2,357 | 91.9% |
| Есть meta description | 2,139 / 2,357 | 90.8% |
| Есть robots.txt | 2,158 / 2,357 | 91.6% |
| В robots.txt указан Sitemap | 1,988 / 2,158 | 92.1% |
| Есть ссылка canonical | 1,988 / 2,357 | 84.3% |
| Есть Open Graph (og:title) | 1,909 / 2,357 | 81.0% |
| Есть структурированные данные (JSON-LD) | 1,624 / 2,357 | 68.9% |
| Есть структурированные данные типа Organization | 1,373 / 2,357 | 58.3% |
| Есть llms.txt | 321 / 2,357 | 13.6% |
| Есть микроразметка schema.org (microdata) | 184 / 2,357 | 7.8% |
| Есть структурированные данные FAQPage | 92 / 2,357 | 3.9% |
| robots.txt блокирует хотя бы одного ИИ-бота | 28 / 2,158 | 1.3% |
| Есть llms-full.txt | 14 / 2,357 | 0.6% |
Как robots.txt обращается с ИИ-краулерами
Из 2,158 сайтов с robots.txt 2.5% (54) упоминают ИИ-бота по имени, а 1.3% (28) запрещают главную страницу хотя бы одному ИИ-боту. Большинство блокировок направлено против краулеров для обучения (GPTBot, Google-Extended, CCBot и подобных). Поисковые краулеры OAI-SearchBot и Claude-SearchBot не заблокировал ни один сайт.
| Бот | Блокирующих сайтов | Доля |
|---|---|---|
| GPTBot (OpenAI) | 27 | 1.3% |
| Google-Extended (Google) | 24 | 1.1% |
| CCBot (Common Crawl) | 24 | 1.1% |
| Bytespider (ByteDance) | 24 | 1.1% |
| anthropic-ai (Anthropic) | 22 | 1.0% |
| ClaudeBot (Anthropic) | 21 | 1.0% |
| Applebot-Extended (Apple) | 21 | 1.0% |
| ChatGPT-User (OpenAI) | 2 | 0.1% |
| PerplexityBot (Perplexity) | 1 | 0.05% |
| OAI-SearchBot (OpenAI) | 0 | 0% |
| Claude-SearchBot (Anthropic) | 0 | 0% |
| Googlebot (Google) | 0 | 0% |
| Bingbot (Microsoft) | 0 | 0% |
llms.txt
У 321 из 2,357 сайтов (13.6%) есть llms.txt. Медианная длина такого llms.txt — 96 строк. У 14 сайтов (0.6%) есть также полнотекстовый llms-full.txt.
Типы структурированных данных
Из 1,624 сайтов с JSON-LD у 1.7% (27) есть JSON-LD, который не удаётся разобрать. Чаще всего встречаются типы WebSite, Organization и BreadcrumbList; PostalAddress есть на 16.3% сайтов, LocalBusiness — на 5.3%, FAQPage — на 3.9%.
| @type | Доля |
|---|---|
| WebSite | 62.4% |
| Organization | 53.7% |
| BreadcrumbList | 43.0% |
| ImageObject | 38.1% |
| WebPage | 34.1% |
| SearchAction | 28.6% |
| PostalAddress | 16.3% |
| Person | 10.1% |
| ContactPoint | 6.4% |
| ProfessionalService | 5.6% |
| LocalBusiness | 5.3% |
| FAQPage | 3.9% |
Проверка по шести пунктам
Мы посчитали, сколько из шести пунктов выполняет каждый сайт: (1) есть llms.txt; (2) есть JSON-LD; (3) есть тип Organization или LocalBusiness; (4) есть robots.txt, который не блокирует ни GPTBot, ни ClaudeBot, ни PerplexityBot, ни OAI-SearchBot; (5) есть meta description; (6) есть ссылка canonical. Это простой подсчёт, сделанный для этого исследования, а не продуктовая оценка Nurevo по шкале 0–100. В среднем выполняется 4.0 пункта; все шесть — у 10.5%.
| Выполнено пунктов | Сайты | Доля |
|---|---|---|
| 0 | 40 | 1.7% |
| 1 | 116 | 4.9% |
| 2 | 254 | 10.8% |
| 3 | 369 | 15.7% |
| 4 | 360 | 15.3% |
| 5 | 971 | 41.2% |
| 6 | 247 | 10.5% |
Как цитировать исследование
Цифры и таблицы можно свободно цитировать и перепубликовывать при условии указания источника «Nurevo AEO survey (nurevo.jp)» и ссылки на эту страницу. Готовые формулировки для цитирования:
- У 13.6% из 2,357 сайтов японских веб-студий был файл llms.txt (исследование Nurevo AEO, ноябрь 2026).
- Лишь 1.3% сайтов японских веб-студий (28 из 2,158 с robots.txt) блокировали ИИ-бота в robots.txt (исследование Nurevo AEO, ноябрь 2026).
- У 68.9% сайтов японских веб-студий на главной странице были структурированные данные JSON-LD, но FAQPage — лишь у 3.9% (исследование Nurevo AEO, ноябрь 2026).
- 91.9% сайтов японских веб-студий работают на WordPress (исследование Nurevo AEO, ноябрь 2026).
Ограничения
- Проверялась только главная страница. Структурированные данные внутренних страниц и состояние сайта в целом не учтены.
- robots.txt оценивался только для главной страницы (/). Сайт, блокирующий лишь отдельные каталоги, считается неблокирующим. Блокировка другими средствами (файрволы, защита от ботов на CDN) не измерялась.
- Совокупность — собственные сайты веб-студий, а не компаний в целом. Список студий составлен нами и охватывает не все студии Японии.
- Одна загрузка на сайт: 399 сайтов, главная страница которых была недоступна (включая временные ошибки), исключены. Для llms.txt проверялось только его наличие, а не качество.
Наша интерпретация (мнение)
Далее — наше мнение, а не результат исследования. Базовые настройки SEO на сайтах студий в основном на месте, и ИИ-краулеров отсекают очень немногие. Пункты, которые помогают ИИ читать сведения о компании, например llms.txt и FAQPage, пока есть лишь на части сайтов. Их добавление не гарантирует появления в ответах ИИ (в другом нашем исследовании сигналы на сайте не показали связи с появлением в ответах), но мы считаем, что их стоит проверить как основу для того, чтобы ИИ правильно считывал факты о компании.
Проверьте свой сайт или сайты клиентов
Бесплатная проверка примерно за минуту показывает llms.txt, структурированные данные и доступ ИИ-краулеров. На WordPress плагин Nurevo WebMCP публикует llms.txt и структурированные данные. Студиям, которые хотят внедрить его на сайтах клиентов, стоит посмотреть партнёрскую программу.
Частые вопросы
Насколько распространён llms.txt на сайтах японских веб-студий?
В этом исследовании llms.txt был у 321 из 2,357 сайтов японских веб-студий (13.6%) (ноябрь 2026).
Много ли студий блокируют ИИ-краулеров в robots.txt?
Немного. Из 2,158 сайтов с robots.txt 28 (1.3%) блокировали хотя бы одного ИИ-бота. Поисковые краулеры OAI-SearchBot и Claude-SearchBot не блокировал никто.
Применимы ли эти цифры к сайтам компаний в целом?
Не обязательно. Исследование охватывает собственные сайты веб-студий, и только их главные страницы.
Можно ли использовать эти цифры в статье?
Да. Укажите источник «Nurevo AEO survey (nurevo.jp)» и дайте ссылку на эту страницу — и цифры можно свободно цитировать и перепубликовывать.