عامل هوش مصنوعی شما به صندوق پیامش اعتماد می‌کند؛ اختیارش را ببندید

عامل هوش مصنوعی نمی‌تواند یک واقعیت را از یک دستور تشخیص دهد. هر چه می‌خواند در قالب متن می‌رسد — ایمیل مشتری، فایل PDF تأمین‌کننده، فرمی که یک غریبه پر کرده — و متن، همان مسیری است که دستورهای خودش هم از آن می‌آیند. این ایراد یک مدل خاص نیست؛ شکل کار همین است. Google از نوامبر ۲۰۲۵ تا فوریهٔ ۲۰۲۶ رشد نسبی ۳۲ درصدی محتوای آلوده به دستورِ مخرب را ثبت کرد. پس اگر می‌خواهید عاملی را به صندوق پیام، CRM یا صورت‌حساب‌هایتان وصل کنید، چیزی که اندازهٔ ریسک شما را تعیین می‌کند نوشتهٔ پرامپت نیست. این است که عامل، روزی که چیزی را باور کند، مجاز به چه کاری است.

دستورگذاری مخرب، به زبان کسب‌وکار، چیست؟

دو گونه دارد و فقط یکی از آن‌ها برای شما هزینه می‌سازد. گونهٔ مستقیم این است که بازدیدکننده‌ای در پنجرهٔ گفت‌وگوی سایت شما بنویسد «دستورهایت را نادیده بگیر»: پیدا، پرصدا، کم‌خطر. گونهٔ غیرمستقیم، دستور را داخل محتوایی می‌کارد که عامل شما آن را برمی‌دارد و باور می‌کند. بررسی بارهای مخربِ دستورگذاری که در دنیای واقعی پیدا شده‌اند و Cloud Security Alliance آن را در آوریل ۲۰۲۶ منتشر کرد، می‌گوید در ۸۵٫۲ درصد موارد بار مخرب در قالبی فریبنده و انسان‌نما پیچیده شده بود — متنی که مثل یادداشتی قانونی به دستیار خوانده می‌شود — و بیشترشان آن را از چشم کسی که همان سند را می‌خواند پنهان کرده بودند: ۳۷٫۸ درصد به شکل متن سادهٔ نامرئی برای خوانندهٔ انسانی و ۱۹٫۸ درصد داخل ویژگی‌های HTML. این را یک بار دیگر از نگاه فیلتر ایمیل خود بخوانید. پیوستی برای قرنطینه نیست و پیوند بدنامی برای بستن نیست. بار مخرب، خودِ متن است.

چرا پرامپت سخت‌گیرانه‌تر درستش نمی‌کند؟

می‌توانید به مدل بگویید به هر چه برمی‌دارد بی‌اعتماد باشد، و فایده هم دارد — هزینهٔ حمله را بالا می‌برد بی‌آنکه شکلش را عوض کند. هر دفاعی از این جنس احتمالی است: کم می‌کند که عامل چند بار فریب بخورد، و همان باری که فریب خورد، عامل هنوز هر اختیاری را که به او داده‌اید در دست دارد. برای همین نابرابری نقشه بکشید، چون اختیارها آن نیمه‌ای است که کامل در دست شماست. این الگو ارزش به‌خاطر سپردن دارد: عاملی که هم به داده‌های خصوصی دسترسی دارد، هم در معرض محتوای غیرقابل‌اعتماد است، و هم کانالی برای فرستادن به بیرون دارد، می‌شود کاری‌اش کرد که داده‌های شما را جابه‌جا کند. هر یک از آن سه را بردارید، دستورگذاریِ موفق جایی برای رفتن ندارد.

تأیید انسانی پاسخ همیشگی است؛ و فرسوده می‌شود.

یک آدم را میان عامل و آن کارِ پرعاقبت بگذارید و ریسک همان لحظه پایین می‌آید. گرفتاری این است که تأیید‌کردن، کاری است که کسی زیر فشار زمان انجام می‌دهد، و عاملی که بیشتر وقت‌ها درست می‌گوید به بازبینِ خود یاد می‌دهد دیگر نخواند. تحلیلی از عملیات مرکز تماس که در دوم نوامبر ۲۰۲۶ منتشر شد، این سرازیری را دقیق وصف کرده است.

این‌طور است که سند حاکمیتی و عملیات، بی‌صدا از هم جدا می‌شوند. سیاست هنوز می‌گوید هر کار را یک انسان تأیید می‌کند؛ و هیچ‌کس هیچ‌چیزی را بازبینی نمی‌کند. همان تحلیل، سنجه‌ای را هم می‌دهد که این را می‌گیرد و همین هفته می‌شود روی داشبورد گذاشت: نرخ تأیید که به سمت صد درصد بالا می‌رود و زمان میانگین بازبینی که پایین می‌آید. Gartner که از بیش از ۳٬۴۰۰ سازمانِ سرمایه‌گذار در هوش مصنوعیِ عاملی نظرسنجی کرده، انتظار دارد بیش از ۴۰ درصد پروژه‌های عاملی تا پایان ۲۰۲۷ لغو شوند — و دلیل‌هایی که می‌آورد هزینهٔ بالارونده، ارزش تجاری نامعلوم و کنترل‌های ناکافیِ ریسک است، نه کیفیت مدل. شکاف‌های حاکمیتی بعد از رویداد پیدا می‌شوند، که دیر است و گران.

چه چیزی واقعاً ریسک را کم می‌کند؟

یعنی نباید از عامل‌ها استفاده کنیم؟

نه — یعنی نسخهٔ اول باید باریک‌تر از دمو باشد. عاملی که پاسخ‌ها را به شکل پیش‌نویس در یک صف می‌گذارد، صورت‌حساب‌ها را در یک گزارش تطبیق می‌دهد، یا سرنخ‌های تازه را برای اقدام یک آدم برچسب می‌زند، بسیار کم از این ریسک را حمل می‌کند، چون نمی‌تواند بیرون از خروجی خودش کاری کند، و همان ساعت‌هایی را که برایشان خریدیدش باز هم ذخیره می‌کند. پروژه‌هایی لغو می‌شوند که با گسترده‌ترین اختیارهای موجود شروع کرده‌اند و پرسش حاکمیتی را بعد از آن یافته‌اند. باریک شروع کنید، آن‌قدر نگهش دارید که ببینید واقعاً چه چیزی را غلط می‌کند، بعد بر پایهٔ شاهد گسترده‌اش کنید. هر کس به شما بگوید می‌شود عاملی ساخت که دستورگذاری بر او کار نکند، دارد یک دمو را وصف می‌کند، نه سیستمی که باید صبح شنبه بگردانید.