日本网页设计公司自家网站的 AI 搜索就绪度:2,357 个网站(2026 年 11 月)
我们抓取了日本 2,357 家网页设计公司网站的首页、robots.txt 和 llms.txt。其中 13.6%(321 个)设有 llms.txt,68.9%(1,624 个)有结构化数据(JSON-LD),1.3%(在 2,158 个有 robots.txt 的网站中占 28 个)在 robots.txt 中屏蔽了至少一个 AI 机器人。
发布于 2026-11-10。数据汇总于 2026-11-05。调研方:Nurevo AEO(Bestie.合同会社)。Nurevo 销售 AI 搜索优化(AEO)工具,因此与本主题存在利益关系。
主要发现
- 13.6% 的日本网页制作公司网站(2,357 个中的 321 个)设有 llms.txt;0.6%(14 个)设有 llms-full.txt。
- 1.3%(在 2,158 个有 robots.txt 的网站中占 28 个)在 robots.txt 中屏蔽了至少一个 AI 机器人。几乎没有网站拒绝 AI 爬虫。
- 68.9% 有结构化数据(JSON-LD),58.3% 有 Organization 类型节点,3.9% 有 FAQPage。
关于本次调查
- 调查对象:我们能确认为网页设计公司的日本 2,756 家公司的官网。这并不是所有企业网站的样本。
- 可访问:其中 2,357 个(85.5%)的首页能够成功抓取。所有结果均基于这 2,357 个网站。
- 抓取内容:每个网站的首页、/robots.txt、/llms.txt 和 /llms-full.txt,各抓取一次(User-Agent: NurevoSurvey/1.0),时间为 2026 年 11 月上旬,于 2026-11-05 汇总。
- 判定方法:结构化数据通过解析首页的 JSON-LD 并统计 @type 值来判断(无法解析的 JSON-LD 计为损坏)。llms.txt 需返回状态 200,且内容为长度超过 20 个字符的非 HTML 文本,才计为存在。对于 robots.txt,如果适用于某个机器人的组禁止访问首页(/),则按最长匹配规则计为该机器人被屏蔽。
- 同一轮调查还覆盖了日本以外的网页制作公司(共 20,720 个网站,其中 15,657 个可访问)。对比结果将在另一份报告中发布。
结果:主要项目
基础 SEO 设置(HTTPS、meta description、robots.txt、canonical)在八成到九成以上的网站中都已到位。而 llms.txt、FAQPage 等面向 AI 的新项目仍属少数。
| 项目 | 网站数 | 占比 |
|---|---|---|
| 通过 HTTPS 提供 | 2,355 / 2,357 | 99.9% |
| 基于 WordPress 构建 | 2,166 / 2,357 | 91.9% |
| 有 meta description | 2,139 / 2,357 | 90.8% |
| 有 robots.txt | 2,158 / 2,357 | 91.6% |
| robots.txt 中列出了 Sitemap | 1,988 / 2,158 | 92.1% |
| 有 canonical 链接 | 1,988 / 2,357 | 84.3% |
| 有 Open Graph(og:title) | 1,909 / 2,357 | 81.0% |
| 有结构化数据(JSON-LD) | 1,624 / 2,357 | 68.9% |
| 有 Organization 类型的结构化数据 | 1,373 / 2,357 | 58.3% |
| 有 llms.txt | 321 / 2,357 | 13.6% |
| 有 schema.org 微数据 | 184 / 2,357 | 7.8% |
| 有 FAQPage 结构化数据 | 92 / 2,357 | 3.9% |
| robots.txt 屏蔽了至少一个 AI 机器人 | 28 / 2,158 | 1.3% |
| 有 llms-full.txt | 14 / 2,357 | 0.6% |
robots.txt 如何对待 AI 爬虫
在 2,158 个有 robots.txt 的网站中,2.5%(54 个)点名提到了 AI 机器人,1.3%(28 个)对至少一个 AI 机器人禁止访问首页。大多数屏蔽针对的是训练用爬虫(GPTBot、Google-Extended、CCBot 等)。没有任何网站屏蔽搜索爬虫 OAI-SearchBot 或 Claude-SearchBot。
| 机器人 | 屏蔽的网站数 | 占比 |
|---|---|---|
| GPTBot (OpenAI) | 27 | 1.3% |
| Google-Extended (Google) | 24 | 1.1% |
| CCBot (Common Crawl) | 24 | 1.1% |
| Bytespider (ByteDance) | 24 | 1.1% |
| anthropic-ai (Anthropic) | 22 | 1.0% |
| ClaudeBot (Anthropic) | 21 | 1.0% |
| Applebot-Extended (Apple) | 21 | 1.0% |
| ChatGPT-User (OpenAI) | 2 | 0.1% |
| PerplexityBot (Perplexity) | 1 | 0.05% |
| OAI-SearchBot (OpenAI) | 0 | 0% |
| Claude-SearchBot (Anthropic) | 0 | 0% |
| Googlebot (Google) | 0 | 0% |
| Bingbot (Microsoft) | 0 | 0% |
llms.txt
2,357 个网站中有 321 个(13.6%)设有 llms.txt。其中 llms.txt 长度的中位数为 96 行。另有 14 个网站(0.6%)还设有全文版的 llms-full.txt。
结构化数据的类型
在 1,624 个有 JSON-LD 的网站中,1.7%(27 个)包含无法解析的 JSON-LD。最常见的类型是 WebSite、Organization 和 BreadcrumbList;PostalAddress 出现在 16.3% 的网站上,LocalBusiness 为 5.3%,FAQPage 为 3.9%。
| @type | 占比 |
|---|---|
| WebSite | 62.4% |
| Organization | 53.7% |
| BreadcrumbList | 43.0% |
| ImageObject | 38.1% |
| WebPage | 34.1% |
| SearchAction | 28.6% |
| PostalAddress | 16.3% |
| Person | 10.1% |
| ContactPoint | 6.4% |
| ProfessionalService | 5.6% |
| LocalBusiness | 5.3% |
| FAQPage | 3.9% |
六项检查
我们统计了每个网站满足以下六项中的几项:(1) 有 llms.txt;(2) 有 JSON-LD;(3) 有 Organization 或 LocalBusiness 类型;(4) 有 robots.txt,且未屏蔽 GPTBot、ClaudeBot、PerplexityBot 和 OAI-SearchBot 中的任何一个;(5) 有 meta description;(6) 有 canonical 链接。这是为本次调查设计的简单计数,并非 Nurevo 产品的 0–100 分评分。平均满足 4.0 项;10.5% 的网站六项全部满足。
| 满足项数 | 网站数 | 占比 |
|---|---|---|
| 0 | 40 | 1.7% |
| 1 | 116 | 4.9% |
| 2 | 254 | 10.8% |
| 3 | 369 | 15.7% |
| 4 | 360 | 15.3% |
| 5 | 971 | 41.2% |
| 6 | 247 | 10.5% |
引用本调查
只要注明“Nurevo AEO survey (nurevo.jp)”并链接到本页面,您可以自由引用和转载其中的数据与表格。可直接引用的句子:
- 在 2,357 个日本网页设计公司网站中,13.6% 设有 llms.txt 文件(Nurevo AEO survey,2026 年 11 月)。
- 仅有 1.3% 的日本网页设计公司网站(在 2,158 个有 robots.txt 的网站中占 28 个)在 robots.txt 中屏蔽了 AI 机器人(Nurevo AEO survey,2026 年 11 月)。
- 68.9% 的日本网页设计公司网站在首页有 JSON-LD 结构化数据,但只有 3.9% 有 FAQPage(Nurevo AEO survey,2026 年 11 月)。
- 91.9% 的日本网页设计公司网站运行在 WordPress 上(Nurevo AEO survey,2026 年 11 月)。
局限性
- 只检查了首页。内页上的结构化数据以及整个网站的状态均未纳入。
- robots.txt 只针对首页(/)进行判定。只屏蔽部分目录的网站计为未屏蔽。通过其他方式(防火墙、CDN 的机器人防护)进行的屏蔽未作测量。
- 调查对象是网页设计公司自家的网站,而非一般企业。公司名单由我们自行整理,并未覆盖日本所有的网页制作公司。
- 每个网站只抓取一次:首页无法访问的 399 个网站(含临时错误)已被排除。对于 llms.txt,我们只检查了是否存在,未评估其质量。
我们的解读(观点)
以下是我们的观点,而非调查结论。网页制作公司的网站基本 SEO 设置大体到位,拒绝 AI 爬虫的极少。而 llms.txt、FAQPage 等帮助 AI 读取公司信息的项目,目前只有部分网站具备。添加这些项目并不能保证出现在 AI 的回答中(在我们的另一项研究中,站内信号与是否出现之间未显示出关联),但我们认为,作为让 AI 正确读取公司事实的基础,它们值得检查。
检查您自己或客户的网站
免费检测约一分钟即可显示 llms.txt、结构化数据和 AI 爬虫访问的状态。在 WordPress 上,Nurevo WebMCP 插件可发布 llms.txt 和结构化数据。希望在客户网站上批量部署的网页制作公司,可以查看合作伙伴计划。
常见问题
llms.txt 在日本网页制作公司网站中有多普及?
在本次调查中,2,357 个日本网页设计公司网站中有 321 个(13.6%)设有 llms.txt(2026 年 11 月)。
很多公司会在 robots.txt 中屏蔽 AI 爬虫吗?
很少。在 2,158 个有 robots.txt 的网站中,有 28 个(1.3%)屏蔽了至少一个 AI 机器人。没有任何网站屏蔽搜索爬虫 OAI-SearchBot 或 Claude-SearchBot。
这些数据适用于一般企业网站吗?
不一定。本调查只涵盖网页设计公司自家的网站,而且只检查了首页。
我可以在文章中使用这些数据吗?
可以。只要注明“Nurevo AEO survey (nurevo.jp)”并链接到本页面,即可自由引用和转载。