آمادگی سایت‌های خودِ آژانس‌های طراحی وب ژاپنی برای جست‌وجوی هوش مصنوعی: 2,357 سایت (نوامبر 2026)

صفحهٔ اصلی، robots.txt و llms.txt مربوط به 2,357 سایت آژانس‌های طراحی وب ژاپنی را دریافت کردیم. 13.6% (321) فایل llms.txt داشتند، 68.9% (1,624) داده ساختاریافته (JSON-LD) داشتند و 1.3% (28 از 2,158 سایتِ دارای robots.txt) دست‌کم یک ربات هوش مصنوعی را در robots.txt مسدود کرده بودند.

منتشرشده در 2026-11-10. داده‌ها در 2026-11-05 تجمیع شد. پژوهش از Nurevo AEO (Bestie.合同会社). Nurevo ابزارهای بهینه‌سازی برای جست‌وجوی هوش مصنوعی (AEO) می‌فروشد و از این رو در این موضوع ذی‌نفع است.

یافته‌های کلیدی

  1. 13.6% از سایت‌های آژانس‌های وب ژاپنی (321 از 2,357) فایل llms.txt دارند؛ 0.6% (14) فایل llms-full.txt دارند.
  2. 1.3% (28 از 2,158 سایتِ دارای robots.txt) دست‌کم یک ربات هوش مصنوعی را در robots.txt مسدود می‌کنند. تقریباً هیچ‌کدام خزنده‌های هوش مصنوعی را رد نمی‌کنند.
  3. 68.9% داده ساختاریافته (JSON-LD) دارند، 58.3% یک گره از نوع Organization دارند و 3.9% FAQPage دارند.

دربارهٔ این پیمایش

  1. جامعهٔ آماری: سایت‌های شرکتیِ 2,756 آژانس طراحی وب در ژاپن که توانستیم آژانس بودنشان را تأیید کنیم. این نمونه‌ای از همهٔ سایت‌های کسب‌وکار نیست.
  2. سایت‌های در دسترس: صفحهٔ اصلی 2,357 سایت (85.5%) قابل دریافت بود. همهٔ نتایج مربوط به همین 2,357 سایت است.
  3. آنچه دریافت شد: صفحهٔ اصلی، ‎/robots.txt، ‎/llms.txt و ‎/llms-full.txt هر سایت، هر کدام یک بار (User-Agent: NurevoSurvey/1.0)، در اوایل نوامبر 2026، تجمیع‌شده در 2026-11-05.
  4. معیار داوری: داده ساختاریافته با تجزیهٔ JSON-LD صفحهٔ اصلی و شمارش مقادیر @type (JSON-LD که تجزیه نشود خراب به حساب می‌آید). llms.txt وقتی شمرده می‌شود که وضعیت 200 را با متنی غیر HTML و بلندتر از 20 نویسه برگرداند. در robots.txt، رباتی مسدود شمرده می‌شود که گروهِ اعمال‌شده بر آن صفحهٔ اصلی (/) را ممنوع کند، با استفاده از طولانی‌ترین قاعدهٔ منطبق.
  5. همین اجرا آژانس‌های خارج از ژاپن را نیز پوشش داد (در مجموع 20,720 سایت، 15,657 در دسترس). مقایسه در گزارشی جداگانه منتشر خواهد شد.

نتایج: موارد اصلی

تنظیمات پایهٔ SEO (HTTPS، meta description، robots.txt، canonical) در بیش از 80 تا 90 درصد سایت‌ها وجود دارد. موارد جدیدتری که برای هوش مصنوعی هستند، مانند llms.txt و FAQPage، هنوز در اقلیت‌اند.

پایه: 2,357 سایت آژانس‌های طراحی وب ژاپنی که صفحهٔ اصلی‌شان در دسترس بود. ردیف‌های robots.txt بر پایهٔ 2,158 سایتِ دارای robots.txt است. تجمیع‌شده در 2026-11-05.
موردسایت‌هاسهم
ارائه از طریق HTTPS2,355 / 2,35799.9%
ساخته‌شده با WordPress2,166 / 2,35791.9%
دارای meta description2,139 / 2,35790.8%
دارای robots.txt2,158 / 2,35791.6%
robots.txt یک Sitemap معرفی می‌کند1,988 / 2,15892.1%
دارای پیوند canonical1,988 / 2,35784.3%
دارای Open Graph (og:title)1,909 / 2,35781.0%
دارای داده ساختاریافته (JSON-LD)1,624 / 2,35768.9%
دارای داده ساختاریافته از نوع Organization1,373 / 2,35758.3%
دارای llms.txt321 / 2,35713.6%
دارای microdata از schema.org184 / 2,3577.8%
دارای داده ساختاریافتهٔ FAQPage92 / 2,3573.9%
robots.txt دست‌کم یک ربات هوش مصنوعی را مسدود می‌کند28 / 2,1581.3%
دارای llms-full.txt14 / 2,3570.6%

robots.txt با خزنده‌های هوش مصنوعی چه می‌کند

از 2,158 سایتِ دارای robots.txt، 2.5% (54) نام یک ربات هوش مصنوعی را ذکر می‌کنند و 1.3% (28) صفحهٔ اصلی را دست‌کم برای یک ربات هوش مصنوعی ممنوع می‌کنند. بیشتر مسدودسازی‌ها خزنده‌های آموزشی را هدف می‌گیرند (GPTBot، Google-Extended، CCBot و مانند آن‌ها). هیچ سایتی خزنده‌های جست‌وجوی OAI-SearchBot یا Claude-SearchBot را مسدود نکرد.

پایه: 2,158 سایتِ دارای robots.txt. مسدود یعنی گروهِ اعمال‌شده بر ربات، / را ممنوع می‌کند.
رباتسایت‌های مسدودکنندهسهم
GPTBot (OpenAI)271.3%
Google-Extended (Google)241.1%
CCBot (Common Crawl)241.1%
Bytespider (ByteDance)241.1%
anthropic-ai (Anthropic)221.0%
ClaudeBot (Anthropic)211.0%
Applebot-Extended (Apple)211.0%
ChatGPT-User (OpenAI)20.1%
PerplexityBot (Perplexity)10.05%
OAI-SearchBot (OpenAI)00%
Claude-SearchBot (Anthropic)00%
Googlebot (Google)00%
Bingbot (Microsoft)00%

llms.txt

321 از 2,357 سایت (13.6%) فایل llms.txt دارند. در میان آن‌ها، میانهٔ طول llms.txt برابر 96 خط است. 14 سایت (0.6%) فایل متن کامل llms-full.txt را نیز دارند.

انواع داده ساختاریافته

از 1,624 سایتِ دارای JSON-LD، 1.7% (27) شامل JSON-LD هستند که تجزیه نمی‌شود. WebSite، Organization و BreadcrumbList رایج‌ترین انواع‌اند؛ PostalAddress در 16.3% سایت‌ها، LocalBusiness در 5.3% و FAQPage در 3.9% دیده می‌شود.

مقادیر @type یافت‌شده در JSON-LD صفحهٔ اصلی، همراه با موارد تودرتو. پایه: 2,357 سایت.
@typeسهم
WebSite62.4%
Organization53.7%
BreadcrumbList43.0%
ImageObject38.1%
WebPage34.1%
SearchAction28.6%
PostalAddress16.3%
Person10.1%
ContactPoint6.4%
ProfessionalService5.6%
LocalBusiness5.3%
FAQPage3.9%

بررسی شش‌موردی

شمردیم که هر سایت چند مورد از شش مورد را برآورده می‌کند: (1) دارای llms.txt؛ (2) دارای JSON-LD؛ (3) دارای نوع Organization یا LocalBusiness؛ (4) دارای robots.txt که هیچ‌یک از GPTBot، ClaudeBot، PerplexityBot و OAI-SearchBot را مسدود نمی‌کند؛ (5) دارای meta description؛ (6) دارای پیوند canonical. این یک شمارش ساده برای همین پیمایش است، نه امتیاز 0 تا 100 محصول Nurevo. میانگین 4.0 مورد است؛ 10.5% هر شش مورد را دارند.

پایه: 2,357 سایت.
موارد برآورده‌شدهسایت‌هاسهم
0401.7%
11164.9%
225410.8%
336915.7%
436015.3%
597141.2%
624710.5%

استناد به این پیمایش

می‌توانید ارقام و جدول‌ها را آزادانه نقل و بازنشر کنید، به شرط آنکه به «Nurevo AEO survey (nurevo.jp)» اشاره کنید و به این صفحه پیوند دهید. جمله‌های آمادهٔ نقل:

  1. 13.6% از 2,357 سایت آژانس‌های طراحی وب ژاپنی فایل llms.txt داشتند (Nurevo AEO survey، نوامبر 2026).
  2. تنها 1.3% از سایت‌های آژانس‌های طراحی وب ژاپنی (28 از 2,158 سایتِ دارای robots.txt) یک ربات هوش مصنوعی را در robots.txt مسدود کرده بودند (Nurevo AEO survey، نوامبر 2026).
  3. 68.9% از سایت‌های آژانس‌های طراحی وب ژاپنی در صفحهٔ اصلی داده ساختاریافتهٔ JSON-LD داشتند، اما تنها 3.9% FAQPage داشتند (Nurevo AEO survey، نوامبر 2026).
  4. 91.9% از سایت‌های آژانس‌های طراحی وب ژاپنی روی WordPress اجرا می‌شوند (Nurevo AEO survey، نوامبر 2026).

محدودیت‌ها

  1. فقط صفحهٔ اصلی بررسی شد. داده ساختاریافته در صفحه‌های داخلی و وضعیت کل سایت در نظر گرفته نشده است.
  2. robots.txt فقط برای صفحهٔ اصلی (/) ارزیابی شد. سایتی که فقط برخی پوشه‌ها را مسدود می‌کند، غیرمسدودکننده شمرده می‌شود. مسدودسازی از راه‌های دیگر (فایروال، محافظت ربات در CDN) اندازه‌گیری نشد.
  3. جامعهٔ آماری سایت‌های خودِ آژانس‌های طراحی وب است، نه کسب‌وکارها به طور کلی. فهرست آژانس‌ها را خودمان تهیه کرده‌ایم و همهٔ آژانس‌های ژاپن را پوشش نمی‌دهد.
  4. یک بار دریافت برای هر سایت: 399 سایتی که صفحهٔ اصلی‌شان در دسترس نبود (از جمله خطاهای موقت) کنار گذاشته شدند. برای llms.txt فقط وجود آن را بررسی کردیم، نه کیفیتش را.

برداشت ما (نظر)

آنچه در ادامه می‌آید نظر ماست، نه یافته. تنظیمات پایهٔ SEO در سایت‌های آژانس‌ها تا حد زیادی برقرار است و تعداد بسیار کمی خزنده‌های هوش مصنوعی را رد می‌کنند. مواردی که به هوش مصنوعی در خواندن اطلاعات شرکت کمک می‌کنند، مانند llms.txt و FAQPage، هنوز فقط در برخی سایت‌ها هستند. افزودن آن‌ها حضور در پاسخ‌های هوش مصنوعی را تضمین نمی‌کند (در پژوهش دیگری از ما، سیگنال‌های درون‌سایتی هیچ رابطه‌ای با حضور نشان ندادند)، اما به نظر ما ارزش بررسی دارند، به عنوان پایه‌ای برای اینکه هوش مصنوعی واقعیت‌های شرکت را درست بخواند.

سایت خود یا سایت مشتریانتان را بررسی کنید

بررسی رایگان در حدود یک دقیقه llms.txt، داده ساختاریافته و دسترسی خزنده‌های هوش مصنوعی را نشان می‌دهد. در WordPress، افزونهٔ Nurevo WebMCP یک llms.txt و داده ساختاریافته منتشر می‌کند. آژانس‌هایی که می‌خواهند آن را روی سایت‌های مشتریان پیاده کنند، می‌توانند برنامهٔ همکاری را ببینند.

پرسش‌های متداول

llms.txt در سایت‌های آژانس‌های وب ژاپنی چقدر رایج است؟

در این پیمایش، 321 از 2,357 سایت آژانس‌های طراحی وب ژاپنی (13.6%) فایل llms.txt داشتند (نوامبر 2026).

آیا آژانس‌های زیادی خزنده‌های هوش مصنوعی را در robots.txt مسدود می‌کنند؟

تعداد کمی. از 2,158 سایتِ دارای robots.txt، 28 سایت (1.3%) دست‌کم یک ربات هوش مصنوعی را مسدود کردند. هیچ‌کدام خزنده‌های جست‌وجوی OAI-SearchBot یا Claude-SearchBot را مسدود نکردند.

آیا این ارقام دربارهٔ سایت‌های کسب‌وکار به طور کلی صدق می‌کند؟

نه لزوماً. این پیمایش سایت‌های خودِ آژانس‌های طراحی وب را پوشش می‌دهد، و فقط صفحهٔ اصلی آن‌ها را.

آیا می‌توانم این ارقام را در یک مقاله استفاده کنم؟

بله. به «Nurevo AEO survey (nurevo.jp)» اشاره کنید و به این صفحه پیوند دهید؛ آنگاه می‌توانید آن‌ها را آزادانه نقل و بازنشر کنید.