برنامهنویس شما میتواند همین امروز پروندهٔ llms.txt را اضافه کند. کرالرهای هوش مصنوعی که بهخاطرشان اضافهاش میکنید سراغش نمیآیند. همین شکاف — میان پروندهای که ساختنش یک ساعت وقت میبرد و پروندهای که هیچ چیز هرگز نمیگیردش — جایی است که بخش بزرگی از بودجهٔ جستوجوی هوش مصنوعی امسال در آن رفت.
خودِ این پرونده فکر معقولی است. llms.txt در ریشهٔ سایت شما مینشیند و صفحههای مهمتان را به Markdown فهرست میکند، تا یک مدل زبانی نقشهٔ تمیزی از محتوایتان بگیرد و ناچار نباشد منوی سایتتان را بخواند. این پیشنهاد مهندسی درستی است. اشکالش این است که قراردادی است که هیچکس در سمت خواننده هرگز بر آن توافق نکرده.
در واقع چه کسی llms.txt را میگیرد؟
Ahrefs در ۱۵ ژوئن ۲۰۲۶ به این پرسش با دادهٔ سرور پاسخ داد، نه با نظر. در میان ۱۳۷٬۲۱۰ دامنه که در مهٔ ۲۰۲۶ در سنجهٔ خودش ترافیک داشتند، ۲۸ درصد پروندهٔ llms.txt معتبری منتشر کرده بودند — و ۹۷ درصد آن پروندهها در تمام آن ماه صفر درخواست گرفتند. از درخواستهایی که ۳ درصد باقیمانده گرفتند، کرالرهای بازیابی هوش مصنوعی، یعنی آنهایی که صفحهای را برای پاسخ دادن به پرسشی زنده میگیرند، ۱٫۱ درصد را ساختند. ابزارهای ممیزی و کرالرهای عمومی وب از آنها بیشتر بودند، و ۱۲ درصد کل آن ترافیک از ابزارهایی آمد که کارشان اعتبارسنجی همین پروندههای llms.txt است.
یافتهای که بحث را تمام میکند، آن یکی دربارهٔ پروندههایی است که وجود ندارند. Ahrefs به درخواستهایی نگاه کرد که برای نشانیهای llms.txt فرستاده شده بودند و هیچ چیزی برنگردانده بودند، و سهم کرالرهای هوش مصنوعی از آنها صفر بود. هیچ کرالر هوش مصنوعی حدسی سراغ نمیگیرد. اگر هیچ چیز سراغ پرونده را نگیرد، منتشر کردنش نمیتواند رفتار هیچ کرالری را عوض کند — تنها ابزاری پیدایش میکند که خودتان به آن گفتهاید کجا را نگاه کند.
بررسی کوچکتری هم به همان سو اشاره میکند. سایتی llms.txt منتشر کرد و بعد ۱۴ روز سیاهههای nginx خودش را برای ۱۸ خانوادهٔ نامدارِ کرالر هوش مصنوعی خواند: آن کرالرها robots.txt را ۷۲۳ بار گرفتند و llms.txt را صفر بار، در حالی که ۱۵۱ درخواست به صفحههای واقعی محتوا فرستادند. یک سایت سرشماری نیست. اما شکل سودمندی است — کرالرها آنجا بودند، صفحهها را میخواندند، و همان پروندهای را میخواندند که از ۱۹۹۴ استاندارد بوده است.
پس چرا سایتهای بزرگ آن را منتشر میکنند؟
چون یک کار را خوب انجام میدهد: فهرستی است برای ابزاری که خودتان به آن نشانیاش را میدهید. مستند توسعهدهندهٔ خودِ OpenAI با این جمله باز میشود که فهرست کامل مستندات در llms.txt آن است و افزودن md. به نشانی هر صفحه، همان صفحه را به Markdown برمیگرداند. این یک مهندس است که آگاهانه نقشهای به دست دستیار کدنویسیاش میدهد. این یک آسودگی در مستندسازی است، و اگر ابزار توسعهدهنده میفروشید شاید نگهداشتنش بیرزد. اهرم دیدهشدن در جستوجو نیست، و Google بیهیچ ملاحظهای همین را میگوید: برای ظاهر شدن در امکانات هوش مصنوعیاش لازم نیست پروندهٔ ماشینخوان تازه، پروندهٔ متنی هوش مصنوعی یا نشانهگذاری تازهای بسازید، و جستوجوی Google آنها را نادیده میگیرد؛ پس این پرونده نه به رتبهتان کمک میکند و نه به آن آسیب میزند.
بیزیان با سودمند یکی نیست
این پرونده به دیدهشدن شما آسیب نمیزند، چون موتورها نادیدهاش میگیرند. هزینهاش باوری است که همراهش میآید — اینکه کارِ آمادهسازی برای هوش مصنوعی تمام شده است. آن را بهعنوان مستند ابزارهایی نگه دارید که خودتان بهسویش میفرستید، و آن یک ساعت را بهجایش روی دسترسی کرالرها بگذارید.
در واقع چه چیزی دروازهٔ ذکر شدن در پاسخ هوش مصنوعی است؟
نخست دسترسی، و ریزتر از آن است که بیشتر مردم گمان میکنند. OpenAI چهار کرالر جدا را مستند کرده که همه از robots.txt کنترل میشوند: OAI-SearchBot سایتها را در امکانات جستوجوی ChatGPT بالا میآورد، GPTBot محتوا را برای آموزش مدل میخزد، ChatGPT-User آن گرفتنهایی را انجام میدهد که کسی درون گفتوگو خواسته است، و OAI-AdsBot صفحههایی را که بهعنوان تبلیغ فرستاده شدهاند میسنجد. کارهای متفاوت، عاملهای کاربر متفاوت. آن یکی که تعیین میکند ChatGPT میتواند شما را در پاسخی زنده ذکر کند یا نه OAI-SearchBot است — نه GPTBot. کسبوکاری که «بات OpenAI» را بسته تا نوشتهاش به آموزش نرود، ممکن است در عوض خودش را از پاسخها بیرون انداخته باشد. اینها دو پیامد متضادند از دو سطر در همان یک پرونده.
بعد همان چیزهای معمولی، که Google بیآنکه حتی یک پروندهٔ تازه بسازد فهرستشان میکند: نمایه شده باشید و شایستهٔ گزیده، خزیدن را در robots.txt و در لایهٔ میزبانیتان اجازه بدهید، محتوای مهم را بهصورت متن نگه دارید نه مهرشده درون تصویر، دادهٔ ساختیافته را با آنچه بازدیدکننده واقعاً میبیند همخوان کنید، Google Business Profile خود را بهروز نگه دارید، و سایت را در Search Console تأیید کنید. هیچکدام تازه نیست. نکته همین است. کاری که ذکر شدن در پاسخ هوش مصنوعی را به دست میآورد همان کاری است که رتبه را به دست میآورد، آنقدر خوب انجامشده که ماشین بتواند یک بند را از بافتش بیرون بکشد و هنوز درست بگوید.
- robots.txt خود را باز کنید و سطر به سطر بخوانید.
- کرالرهای جستوجو را با نام اجازه بدهید، نخست OAI-SearchBot.
- دسترسی آموزش را جدا از دسترسی جستوجو تعیین کنید.
- قواعد دیوار آتش و بات را هم بررسی کنید، نه فقط پرونده را.
- یک هفته سیاههٔ سرور را برای عامل کاربر هر کرالر بکاوید.
- در بند نخست هر صفحه یک پاسخ مستقیم بگذارید.
- قیمتها، ساعتها و نام خدمات را متن نگه دارید، نه تصویر.
پروندهای که هیچ چیز نمیگیردش بهینهسازی نیست. سطری روی یک صورتحساب است.
از کجا بدانید کار کرده است؟
دو بررسی، و هر دو باید بتوانند شکست بخورند. نخست دسترسی: robots.txt خودتان را بگیرید، آن را با نام کرالرهایی که برایتان مهماند بسنجید، بعد یک هفته سیاههٔ سرور را برای عامل کاربر هر یک از آنها بگردید. قاعدهای که باور دارید کرالری را اجازه میدهد، ادعایی دربارهٔ قصد است؛ درخواستی از آن کرالر که در سیاههٔ شما نشسته، ادعایی دربارهٔ وضع است. اگر کرالری که میخواهید هرگز پیدا نشود، کار پشت در مانده و هنوز هیچ چیزِ روی صفحه اهمیتی ندارد.
دوم خودِ ذکر شدن. پنج پرسش را بنویسید که مشتری میپرسد و شما باید پاسخش باشید، آنها را به دستیارهایی که برایتان مهماند بدهید، و ثبت کنید که نامتان برده و پیوند داده میشود یا نه. همان پنج پرسش را هر ماه اجرا کنید. سنجهٔ خامی است و میان اجراها میلرزد، و با این همه تنها سنجهای است که به نتیجهای که پولش را میدهید بسته است. گزارشی که فقط تأیید میکند پروندهای وجود دارد نمیتواند شکست بخورد، و درست همین است که آن را از شمار شاهد بیرون میبرد.
بفهمید چه چیزی جلوی ذکر شدن را گرفته
ما این راهنماها را از دلِ کارِ واقعیِ مشتری مینویسیم — GEO، SEO و ساختهایی که عرضه کردهایم. اگر مطلبی پرسشی دربارهٔ سایت خودتان برانگیخت، با کمال میل به آن نگاه میکنیم.
- پاسخهای صریح، بدون نیاز به قرارداد نگهداری
- به زبان شما پاسخ میدهیم — EN · فارسی
- مستقر در کانادا، فعال در سراسر جهان



