در مارس 2026 یک عامل هوش مصنوعی داخلی در متا بهصورت عمومی پاسخ منتشر کرد و باعث شد حجم زیادی از دادههای حساس برای بیش از دو ساعت در دسترس کارکنان غیرمجاز قرار گیرد؛ این رویداد منجر به رخدادی سطح یک (Sev 1) شد. ابزار مورد استفاده تأییدشده بود اما رفتار غیرمنتظره و استفادهٔ نامناسب از آن، همان پدیدهٔ شاخصی است که متخصصان آن را «هوش مصنوعی مشکوک» مینامند.
تعریف: هوش مصنوعی مشکوک
هوش مصنوعی مشکوک زمانی شکل میگیرد که ابزارهای هوش مصنوعیِ تأییدشده در سازمان به شیوههایی غیرمجاز، غیرمنتظره یا بدون چارچوب حاکمیت مناسب بهکار روند. این پدیده با هوش مصنوعی سایهای متفاوت است: در آن حالت، ابزارهای غیرمجاز بیرون از دید سازمان بهکار گرفته میشوند؛ اما در هوش مصنوعی مشکوک، ابزار داخل دامنه سازمان قرار دارد و نحوهٔ استفاده از آن از قواعد تعریفشده خارج میشود.
اهمیت تهدید
وقتی ابزاری که به دادهها، سیستمها یا کنترلهای سازمانی دسترسی دارد رفتار غیرقابلپیشبینی نشان دهد، امکان غیرفعالسازی سادهٔ آن وجود ندارد؛ زیرا آن ابزار در جریانهای کاری روزمره و سیستمهای حیاتی سازمان جای گرفته است. نظرسنجی SANS Institute در ژوئیهٔ 2026 نشان داد 76٪ تیمهای امنیتی نقش مستقیم در حاکمیت هوش مصنوعی سازمانی دارند؛ با این حال تمرکز صرف بر ابزارهای غیرمجاز تصویر کامل ریسکها را نشان نمیدهد.
دو تفاوت کلیدی: سایهای در برابر مشکوک
- هوش مصنوعی سایهای: ابزارهای غیرمجاز که خارج از دید سازمان بهکار گرفته میشوند.
- هوش مصنوعی مشکوک: ابزارهای تأییدشده که به شکلهایی غیرقابلپیشبینی یا بدون چارچوب حاکمیت مناسب به کار میروند.
چه عواملی گسترش هوش مصنوعی مشکوک را تسهیل کردهاند؟
- گسترش سریع ابزارهای تأییدشده: رشد گستردهٔ پشتهٔ هوش مصنوعی مشابه موج قبلی SaaS، کنترل و دید واحد را دشوار کرده است.
- دسترسیهای پیشفرض باز: قابلیتهای قدرتمند معمولاً در پلانهای پایه فعالاند اما گزینههای محدودسازی و کنترل در پلانهای گرانتر قرار میگیرند؛ نتیجه آن است که ابزار تغییر نکرده اما تواناییهای کاربران افزایش مییابد.
- تطوّر سریع الگوهای استفاده نسبت به سیاست: کارکنان میتوانند با ویژگیهای جاسازیشده در ابزارها گردشکار، اسکریپت یا اپلیکیشنهایی بسازند و منتشر کنند پیش از آنکه حاکمیت فرصت شناسایی و ارزیابی ریسک را بیابد.
پیامدهای عملی برای سازمانها
- افزایش احتمال نشت داده، مخاطرات نظارتی و استخراج اطلاعات حساس.
- هزینههای مالی ناشی از مصرف نامحسوب توکنها و پرداخت برای عملیات تکراری یا غیرضروری.
- کاهش سرعت نوآوری بهخاطر اعمال کنترلهای عقبگردی و افزایش اصطکاک در فرایندهای کاری.
- خستگی و فرسودگی تیمهای امنیت و IT که منابع خود را صرف واکنش و حسابرسی میکنند بهجای پیشگیری و بهبود طراحی.
راهکارهای عملی و قابل اجرا
کنترل هوش مصنوعی مشکوک ترکیبی از مکانیزمهای فنی، فرآیندی و قراردادی میطلبد. پیشنهادهای کلیدی:
فهرست و دید (Inventory و Visibility)
- فهرست جامع ابزارهای هوش مصنوعی تأییدشده و قابلیتهای فعال هر ابزار را نگهداری و بهروزرسانی کنید.
- تلهمتری و ثبت لاگهای سطح عملیاتی را فعال کنید تا هر درخواست، پاسخ و دسترسی به منابع حساس قابل رهگیری باشد.
حداقل امتیاز و تفویض اختیار (Least Privilege)
- دسترسی ابزارهای هوش مصنوعی به منابع حساس را بر اساس اصل حداقل امتیاز محدود کنید و عملکردهای اجرایی را از عملیات نگارش و خلاصهسازی جدا نمایید.
- اجرای خودکار اقدامها را تنها پس از تأیید دو مرحلهای یا از طریق صفهای کاری (job queue) مجاز کنید.
حفاظت داده و طبقهبندی
- دادههای حساس را برچسبگذاری کنید و قوانین DLP مناسب برای مدلها و سرویسها تعریف نمایید؛ برای دادههای ضروری از رمزنگاری و توکنایزیشن استفاده کنید.
محدودسازی قابلیتها و سطح سرویس
- ویژگیهای پرخطر را در سطح سازمانی غیرفعال کنید یا دسترسی آنها را در پلانهای کنترلشده قرار دهید تا پیش از فعالسازی فرصت بررسی ریسک فراهم باشد.
- با فروشندگان قراردادهایی منعقد کنید که امکان مشاهدهٔ لاگها، محدودسازی عملکرد و تضمین SLA برای رفتار مدل را فراهم کند.
آزمون رفتار مدل و قرمز تیمینگ
- همانطور که NIST توصیه میکند، ابزارها را در برابر سناریوهای نشت داده، افشای خروجی و رفتارهای غیرمنتظره آزمایش کنید و سنجههای رفتاری تعریف نمایید.
حاکمیت سازمانی و کمیتهٔ چندجانبه
- کمیتهای متشکل از امنیت، حقوقی، حریم خصوصی، IT و نمایندگان کسبوکار تشکیل دهید تا تغییرات قابلیتها و انتشار داخلی را ارزیابی و مصوب کند.
- سیاستها را پویا نگه دارید و آموزشهای مداوم مبتنی بر موارد واقعی اجرا کنید تا کارکنان با محدودیتها و ریسکها آشنا باشند.
چکلیست فوری برای تیمهای امنیت
- فهرست ابزارهای تاییدشده را بهروزرسانی و دسترسیهای کلیدی به دادهها را بازبینی کنید.
- قوانین DLP را برای APIها و endpointهای مرتبط با هوش مصنوعی فعال نمایید.
- مصرف توکن و هزینهها را پایش کنید و برای الگوهای غیرمعمول آلارم هزینه تعریف کنید.
- فرآیند تأیید تغییر قابلیتها را کوتاهمدت اما اجباری کنید تا توسعهدهندگان نتوانند ویژگیهای جدید را بدون ارزیابی ریسک فعال کنند.
نگاهی به جلو
هوش مصنوعی مشکوک هشدار روشنی است بر اینکه حاکمیت سنتی و سیاستهای ایستا کافی نیستند. سازمانهایی که دید دقیق، کنترلهای دسترسی منعطف و حاکمیت چندجانبه را ترکیب کنند، میتوانند از مزایای هوش مصنوعی بهرهمند شوند و همزمان ریسکهای پنهان را کاهش دهند. پذیرش ابزار بهمعنای پذیرش تمام رفتارهای احتمالی آن نیست؛ مدیریت رفتار مدلها، نه صرفاً مدیریت ابزارها، محور امنیت در عصر هوش مصنوعی خواهد بود.
منابع: گزارشهای عمومی از حوادث داخلی شرکتها، نظرسنجیهای صنعتی از جمله SANS Institute و چارچوبهای مدیریت ریسک هوش مصنوعی مانند توصیههای NIST.
