رفتن به محتوای اصلی
رزرو تماس
آخرین به‌روزرسانی: ⁨۲۹ آبان ۱۴۰۵⁩

کسی llms.txt شما را نمی‌خواند. robots.txt را بررسی کنید

از سوی تیم
Hamed Azimi
Hamed Azimi
بنیان‌گذار، ⁨NexusWave⁩
بیایید با هم چیزی بسازیم.

ما این راهنماها را از دلِ کارِ واقعیِ مشتری می‌نویسیم — ⁨GEO⁩، ⁨SEO⁩ و ساخت‌هایی که عرضه کرده‌ایم. اگر مطلبی پرسشی دربارهٔ سایت خودتان برانگیخت، با کمال میل به آن نگاه می‌کنیم.

  • پاسخ‌های صریح، بدون نیاز به قرارداد نگهداری
  • به زبان شما پاسخ می‌دهیم — ⁨EN⁩ · فارسی
  • مستقر در کانادا، فعال در سراسر جهان
شروع گفتگو ←ببینید چه می‌کنیم ←

برنامه‌نویس شما می‌تواند همین امروز پروندهٔ llms.txt را اضافه کند. کرالرهای هوش مصنوعی که به‌خاطرشان اضافه‌اش می‌کنید سراغش نمی‌آیند. همین شکاف — میان پرونده‌ای که ساختنش یک ساعت وقت می‌برد و پرونده‌ای که هیچ چیز هرگز نمی‌گیردش — جایی است که بخش بزرگی از بودجهٔ جست‌وجوی هوش مصنوعی امسال در آن رفت.

خودِ این پرونده فکر معقولی است. llms.txt در ریشهٔ سایت شما می‌نشیند و صفحه‌های مهمتان را به Markdown فهرست می‌کند، تا یک مدل زبانی نقشهٔ تمیزی از محتوایتان بگیرد و ناچار نباشد منوی سایتتان را بخواند. این پیشنهاد مهندسی درستی است. اشکالش این است که قراردادی است که هیچ‌کس در سمت خواننده هرگز بر آن توافق نکرده.

در واقع چه کسی llms.txt را می‌گیرد؟

Ahrefs در ۱۵ ژوئن ۲۰۲۶ به این پرسش با دادهٔ سرور پاسخ داد، نه با نظر. در میان ۱۳۷٬۲۱۰ دامنه که در مهٔ ۲۰۲۶ در سنجهٔ خودش ترافیک داشتند، ۲۸ درصد پروندهٔ llms.txt معتبری منتشر کرده بودند — و ۹۷ درصد آن پرونده‌ها در تمام آن ماه صفر درخواست گرفتند. از درخواست‌هایی که ۳ درصد باقی‌مانده گرفتند، کرالرهای بازیابی هوش مصنوعی، یعنی آن‌هایی که صفحه‌ای را برای پاسخ دادن به پرسشی زنده می‌گیرند، ۱٫۱ درصد را ساختند. ابزارهای ممیزی و کرالرهای عمومی وب از آن‌ها بیشتر بودند، و ۱۲ درصد کل آن ترافیک از ابزارهایی آمد که کارشان اعتبارسنجی همین پرونده‌های llms.txt است.

یافته‌ای که بحث را تمام می‌کند، آن یکی دربارهٔ پرونده‌هایی است که وجود ندارند. Ahrefs به درخواست‌هایی نگاه کرد که برای نشانی‌های llms.txt فرستاده شده بودند و هیچ چیزی برنگردانده بودند، و سهم کرالرهای هوش مصنوعی از آن‌ها صفر بود. هیچ کرالر هوش مصنوعی حدسی سراغ نمی‌گیرد. اگر هیچ چیز سراغ پرونده را نگیرد، منتشر کردنش نمی‌تواند رفتار هیچ کرالری را عوض کند — تنها ابزاری پیدایش می‌کند که خودتان به آن گفته‌اید کجا را نگاه کند.

بررسی کوچک‌تری هم به همان سو اشاره می‌کند. سایتی llms.txt منتشر کرد و بعد ۱۴ روز سیاهه‌های nginx خودش را برای ۱۸ خانوادهٔ نام‌دارِ کرالر هوش مصنوعی خواند: آن کرالرها robots.txt را ۷۲۳ بار گرفتند و llms.txt را صفر بار، در حالی که ۱۵۱ درخواست به صفحه‌های واقعی محتوا فرستادند. یک سایت سرشماری نیست. اما شکل سودمندی است — کرالرها آنجا بودند، صفحه‌ها را می‌خواندند، و همان پرونده‌ای را می‌خواندند که از ۱۹۹۴ استاندارد بوده است.

137,210
دامنه در پژوهش llms.txt شرکت Ahrefs (ترافیک مهٔ ۲۰۲۶)
97
درصد پرونده‌های منتشرشده با صفر درخواست در آن ماه
1.1
درصد آن درخواست‌ها که از کرالرهای بازیابی هوش مصنوعی آمد
0
درخواست که کرالرهای هوش مصنوعی برای پرونده‌های موجودنبوده فرستادند

پس چرا سایت‌های بزرگ آن را منتشر می‌کنند؟

چون یک کار را خوب انجام می‌دهد: فهرستی است برای ابزاری که خودتان به آن نشانی‌اش را می‌دهید. مستند توسعه‌دهندهٔ خودِ OpenAI با این جمله باز می‌شود که فهرست کامل مستندات در llms.txt آن است و افزودن md. به نشانی هر صفحه، همان صفحه را به Markdown برمی‌گرداند. این یک مهندس است که آگاهانه نقشه‌ای به دست دستیار کدنویسی‌اش می‌دهد. این یک آسودگی در مستندسازی است، و اگر ابزار توسعه‌دهنده می‌فروشید شاید نگه‌داشتنش بیرزد. اهرم دیده‌شدن در جست‌وجو نیست، و Google بی‌هیچ ملاحظه‌ای همین را می‌گوید: برای ظاهر شدن در امکانات هوش مصنوعی‌اش لازم نیست پروندهٔ ماشین‌خوان تازه، پروندهٔ متنی هوش مصنوعی یا نشانه‌گذاری تازه‌ای بسازید، و جست‌وجوی Google آن‌ها را نادیده می‌گیرد؛ پس این پرونده نه به رتبه‌تان کمک می‌کند و نه به آن آسیب می‌زند.

بی‌زیان با سودمند یکی نیست

این پرونده به دیده‌شدن شما آسیب نمی‌زند، چون موتورها نادیده‌اش می‌گیرند. هزینه‌اش باوری است که همراهش می‌آید — اینکه کارِ آماده‌سازی برای هوش مصنوعی تمام شده است. آن را به‌عنوان مستند ابزارهایی نگه دارید که خودتان به‌سویش می‌فرستید، و آن یک ساعت را به‌جایش روی دسترسی کرالرها بگذارید.

در واقع چه چیزی دروازهٔ ذکر شدن در پاسخ هوش مصنوعی است؟

نخست دسترسی، و ریزتر از آن است که بیشتر مردم گمان می‌کنند. OpenAI چهار کرالر جدا را مستند کرده که همه از robots.txt کنترل می‌شوند: OAI-SearchBot سایت‌ها را در امکانات جست‌وجوی ChatGPT بالا می‌آورد، GPTBot محتوا را برای آموزش مدل می‌خزد، ChatGPT-User آن گرفتن‌هایی را انجام می‌دهد که کسی درون گفت‌وگو خواسته است، و OAI-AdsBot صفحه‌هایی را که به‌عنوان تبلیغ فرستاده شده‌اند می‌سنجد. کارهای متفاوت، عامل‌های کاربر متفاوت. آن یکی که تعیین می‌کند ChatGPT می‌تواند شما را در پاسخی زنده ذکر کند یا نه OAI-SearchBot است — نه GPTBot. کسب‌وکاری که «بات OpenAI» را بسته تا نوشته‌اش به آموزش نرود، ممکن است در عوض خودش را از پاسخ‌ها بیرون انداخته باشد. این‌ها دو پیامد متضادند از دو سطر در همان یک پرونده.

بعد همان چیزهای معمولی، که Google بی‌آنکه حتی یک پروندهٔ تازه بسازد فهرستشان می‌کند: نمایه شده باشید و شایستهٔ گزیده، خزیدن را در robots.txt و در لایهٔ میزبانی‌تان اجازه بدهید، محتوای مهم را به‌صورت متن نگه دارید نه مهرشده درون تصویر، دادهٔ ساخت‌یافته را با آنچه بازدیدکننده واقعاً می‌بیند هم‌خوان کنید، Google Business Profile خود را به‌روز نگه دارید، و سایت را در Search Console تأیید کنید. هیچ‌کدام تازه نیست. نکته همین است. کاری که ذکر شدن در پاسخ هوش مصنوعی را به دست می‌آورد همان کاری است که رتبه را به دست می‌آورد، آن‌قدر خوب انجام‌شده که ماشین بتواند یک بند را از بافتش بیرون بکشد و هنوز درست بگوید.

  1. robots.txt خود را باز کنید و سطر به سطر بخوانید.
  2. کرالرهای جست‌وجو را با نام اجازه بدهید، نخست OAI-SearchBot.
  3. دسترسی آموزش را جدا از دسترسی جست‌وجو تعیین کنید.
  4. قواعد دیوار آتش و بات را هم بررسی کنید، نه فقط پرونده را.
  5. یک هفته سیاههٔ سرور را برای عامل کاربر هر کرالر بکاوید.
  6. در بند نخست هر صفحه یک پاسخ مستقیم بگذارید.
  7. قیمت‌ها، ساعت‌ها و نام خدمات را متن نگه دارید، نه تصویر.
پرونده‌ای که هیچ چیز نمی‌گیردش بهینه‌سازی نیست. سطری روی یک صورت‌حساب است.
حامد عظیمی، بنیان‌گذار NexusWave Technologies

از کجا بدانید کار کرده است؟

دو بررسی، و هر دو باید بتوانند شکست بخورند. نخست دسترسی: robots.txt خودتان را بگیرید، آن را با نام کرالرهایی که برایتان مهم‌اند بسنجید، بعد یک هفته سیاههٔ سرور را برای عامل کاربر هر یک از آن‌ها بگردید. قاعده‌ای که باور دارید کرالری را اجازه می‌دهد، ادعایی دربارهٔ قصد است؛ درخواستی از آن کرالر که در سیاههٔ شما نشسته، ادعایی دربارهٔ وضع است. اگر کرالری که می‌خواهید هرگز پیدا نشود، کار پشت در مانده و هنوز هیچ چیزِ روی صفحه اهمیتی ندارد.

دوم خودِ ذکر شدن. پنج پرسش را بنویسید که مشتری می‌پرسد و شما باید پاسخش باشید، آن‌ها را به دستیارهایی که برایتان مهم‌اند بدهید، و ثبت کنید که نامتان برده و پیوند داده می‌شود یا نه. همان پنج پرسش را هر ماه اجرا کنید. سنجهٔ خامی است و میان اجراها می‌لرزد، و با این همه تنها سنجه‌ای است که به نتیجه‌ای که پولش را می‌دهید بسته است. گزارشی که فقط تأیید می‌کند پرونده‌ای وجود دارد نمی‌تواند شکست بخورد، و درست همین است که آن را از شمار شاهد بیرون می‌برد.

بفهمید چه چیزی جلوی ذکر شدن را گرفته

دسترسی کرالرهای هوش مصنوعی را راستی‌آزمایی می‌کنیم، ساختار محتوایتان را امتیاز می‌دهیم، دادهٔ ساخت‌یافته‌تان را سیاهه می‌کنیم، روشنی هویت و نشانه‌های تازگی را بازبینی می‌کنیم، نمایی از دیده‌شدن رقیبان در هوش مصنوعی می‌افزاییم، و سیاههٔ اولویت‌دار اصلاح‌ها را به دستتان می‌دهیم، به بهای ثابت ۴۹۹ دلار.
Hamed Azimi

Hamed Azimi

بنیان‌گذار، NexusWave

حامد عظیمی بنیان‌گذار ⁨NexusWave Technologies⁩ است، یک آژانس دیجیتال و استودیوی محصولِ هوش‌مصنوعی‌محورِ مستقر در ⁨Vancouver⁩.

از سوی تیم
Hamed Azimi
Hamed Azimi
بنیان‌گذار، ⁨NexusWave⁩
بیایید با هم چیزی بسازیم.

ما این راهنماها را از دلِ کارِ واقعیِ مشتری می‌نویسیم — ⁨GEO⁩، ⁨SEO⁩ و ساخت‌هایی که عرضه کرده‌ایم. اگر مطلبی پرسشی دربارهٔ سایت خودتان برانگیخت، با کمال میل به آن نگاه می‌کنیم.

  • پاسخ‌های صریح، بدون نیاز به قرارداد نگهداری
  • به زبان شما پاسخ می‌دهیم — ⁨EN⁩ · فارسی
  • مستقر در کانادا، فعال در سراسر جهان
شروع گفتگو ←ببینید چه می‌کنیم ←
بریف NexusWave
یک ایمیل مفید در ماه — یافته‌های GEO و یادداشت‌های ساخت، بدون حاشیه. تأیید دومرحله‌ای (Double opt-in).
پرسش‌های متداول

پرسش‌های پرتکرار

llms.txt را که از قبل دارم پاک کنم؟

نه. سرو کردنش هیچ هزینه‌ای ندارد و موتورها نادیده‌اش می‌گیرند، پس برداشتنش هم چیزی برایتان نمی‌خرد. اگر ابزاری از خودتان آن را می‌خواند نگهش دارید، وگرنه بگذارید کهنه شود، و دیگر آن را در هیچ صورت‌حسابی کارِ جست‌وجوی هوش مصنوعی به حساب نیاورید.

اگر GPTBot را ببندم، از پاسخ‌های ChatGPT ناپدید می‌شوم؟

خودبه‌خود نه. GPTBot برای آموزش مدل می‌خزد؛ OAI-SearchBot کرالر پشت امکانات جست‌وجوی ChatGPT است. بستن کرالر آموزش و در همان حال اجازه دادن به کرالر جست‌وجو موضع منسجمی است، و همان چیزی است که بیشتر کسب‌وکارها واقعاً می‌خواهند. هر دو سطر را بررسی کنید، چون یک قاعدهٔ فراخ که OpenAI را نشانه گرفته معمولاً هر دو را می‌گیرد.

آیا پرونده‌ای هست که کمک کند؟

robots.txt، و تنها به این معنا که تعیین می‌کند چه کسی راه می‌یابد. پس از دسترسی، اهرم خودِ صفحه است: پاسخی مستقیم نزدیک بالای صفحه، دادهٔ ساخت‌یافته‌ای هم‌خوان با محتوای دیدنی، و مطلبی که به‌روز می‌ماند. هیچ پرونده‌ای نیست که بتوانید اضافه کنید و جای ارزش نقل شدن را بگیرد.

خواندنی‌های مرتبط
همهٔ مقالات →
GEO و جست‌وجوی هوش مصنوعی
دستیارهای هوش مصنوعی چگونه تصمیم می‌گیرند کدام کسب‌وکارها را پیشنهاد دهند
درون سیگنال‌هایی که موتورهای هوش مصنوعی پیش از نام‌بردن یک کسب‌وکار در پاسخ می‌سنجند — و حرکت‌هایی که استناد را کسب می‌کنند.
Hamed Azimi
Hamed Azimiبنیان‌گذار، NexusWave
⁨۳۰ خرداد ۱۴۰۵⁩⁨۳ دقیقه⁩۵:۱۹
GEO و جست‌وجوی هوش مصنوعی
GEO چیست؟ راهنمای کامل برای صاحبان کسب‌وکار
کسب‌وکارها چگونه در پاسخ‌های هوش مصنوعیِ ChatGPT، Perplexity و Google AI Overviews استناد می‌شوند — چیستی آن و چگونه آغاز کنیم.
Hamed Azimi
Hamed Azimiبنیان‌گذار، NexusWave
⁨۲۲ خرداد ۱۴۰۵⁩⁨۲ دقیقه⁩۷:۳۸
تبلیغات پولی و شبکه‌های اجتماعی
تبلیغات ChatGPT سقف پیشنهاد را برداشت. ثابت کنید پیگیری‌تان کار می‌کند
تبلیغات ChatGPT در ۹ نوامبر سقف پیشنهاد را با هدف هزینه عوض کرد. هدف یک میانگین است، نه سقف؛ پس ترمز شما حالا پیگیری تبدیل است.
Hamed Azimi
Hamed Azimiبنیان‌گذار، NexusWave
⁨۲۶ آبان ۱۴۰۵⁩⁨۴ دقیقه⁩۹:۱۹
شروع کنیم
بگویید چه می‌سازید.
هدف‌هایتان را بگویید تا ظرف یک روز کاری پیشنهادی مکتوب و ریزشده دریافت کنید — به انگلیسی، فارسی یا عربی. بدون قرارداد اجباری، بدون فشار.
فرم را رها کنید — مستقیم وقت بگیرید
یک تماس آشنایی ۳۰ دقیقه‌ای، هم‌زمان با تقویم ما از طریق Skejel.
انتخاب زمان
گفت‌وگو را آغاز کنیدپاسخ در یک روز
⁨بازهٔ بودجه: *⁩
مستقیم در Zoho CRM ثبت می‌شود. آدرس صفحه، زبان و پارامترهای UTM به‌صورت خودکار برای انتساب ثبت می‌شوند.
گفت‌وگو را ترجیح می‌دهید؟ حباب SalesIQ در گوشهٔ صفحه شما را به یک انسان می‌رساند — ربات فقط سلام اول را پاسخ می‌دهد.
۵٫۰ · Google و Clutchپاسخ در یک روز کاریEN · FA · AR