یک تحلیلگر اطلاعاتی فرماندهی عملیات ویژه آمریکا (SOCOM) از یک چتبات هوش مصنوعی خواست تا منیفست بار یک کشتی چینی را بررسی کند. نتیجه؟ سیستمی که دادههای باز و کلاسیفاید را با هم ادغام کرده بود، قطعات کاملاً تجاری را «اجزای برنامه تسلیحات هستهای» تشخیص داد. پنتاگون دستور رهگیری کشتی و پروازهای حمایتی هوایی صادر کرد، اما در لحظه آخر متوجه شد که کل گزارش، توهمِ یک مدل زبانی بزرگ (LLM) بوده است.
وقتی هالوسیناسیون، جنگ را به رخ میکشاند
به گزارش اختصاصی سیانان، این رویداد بر اساس شهادت «چهار منبع آگاه» رخ داده است. یکی از این منابع به صراحت بیان کرد: «این فاجعه ناشی از هوش مصنوعی، ما را بسیار نزدیک به آغاز یک جنگ کرد.»
تحلیلگرِ مورد نظر، خروجی چتبات را بدون تأیید صریح انسانی در یک گزارش رسمی اطلاعاتی گنجاند. این گزارش تا سطح فرماندهی بالا رسید و دستور عملیات نظامی صادر گردید. تنها در لحظات پایانی، وقتی تیمهای فنی مواد بارگیری را با دادههای واقعی تطبیق دادند، خطای فاحش آشکار شد.
مشکل سیستماتیک، نه خطای فردی
این رویداد تنها نوک یخ کوه یخ است. از سال ۲۰۲۳ که «هالوسیناسیون» (Hallucination) واژه سال کمبریج شد، شاهد موارد گستردهای هستیم:
- وکلا که پروندههای جعلی شده توسط چتبات را در دادگاه ارائه میدهند
- پزشکان که تشخیصهای اشتباه مدلهای زبانی را پیروی میکنند
- روزنامهنگاران و محققان آکادمیک که ارجاعات وجودندار را نقل میکنند
- مراکز تماس و دفاتر قضایی که تصمیمات بر پایه خروجیهای نادرست میگیرند
تحقیقات نشان میدهد هالوسیناسیون ویژگی ذاتی مدلهای زبانی بزرگ (LLM) است، نه باگی که با یک پرامپت «هالوسیناسیون نکن» برطرف شود. وقتی مدلها زمینه کافی ندارند، با اعتماد کامل اطلاعاتی را بیاساس تولید میکنند.
استراتژی شتاب، یا شتاب به سمت خطر؟
خطرناکتر از خود حادثه، واکنش مؤسسی است. در ژانویه ۲۰۲۴، وزارت دفاع آمریکا استراتژی «شتاب هوش مصنوعی» را رونمایی کرد که هدف آن «دسترسیپذیر کردن تمام دادههای مناسب در سراسر سیستمهای فناوری اطلاعات فدرال برای بهرهبرداری توسط هوش مصنوعی، شامل سیستمهای حساس در هر نیرو و مؤلفه» است.
به زبان ساده: پنتاگون میخواهد هوش مصنوعی به کل دادههای کلاسیفاید و حساس دسترسی داشته باشد، درحالی که هنوز مکانیزم مطمئن برای جلوگیری از توهمهای این سیستمها وجود ندارد. ترکیب «دسترسی کامل به دادههای حساس» با «احتمال خطای غیرقابل پیشبینی» فرمولی برای بلایا است.
آیا کنترل انسانی کفایت میکند؟
مدافعان نظامی میگویند «انسان در حلقه» (Human-in-the-loop) مانع سوءاستفاده میشود. اما در این پرونده، انسان در حلقه بود — تحلیلگری که خروجی را تایید کرد. مشکل در تکیه غیرنقدی به خروجیِ بهنظر-رسانهایِ مدل است. وقتی سیستمی با لحن رسمی و ساختار منطقی گول میدهد، حتی کارشناسان باتجربه میتوانند فریب خورند.
مسئله تنها نظامی نیست. هر سازمانی که به مدلهای زبانی برای تصمیمگیریهای بحرانی (مالی، پزشکی، حقوقی، امنیتی) متکیه شود، در معرض همین ریسک است. راهکار؟ معماریهای تأیید چندلایه، جداسازی دادههای حساس از مدلهای ژنراتیو، و فرهنگِ شکاکیت نسبت به خروجیهای هوش مصنوعی — نه اعتماد کورکورانه به «استراتژی شتاب».
این حادثه باید زنگ هشدار برای همه تصمیمگیران باشد: هوش مصنوعی ابزاری قدرتمند است، نه اوراکل بیخطا. تفاوت بین «ابزار» و «مقصد تصمیمگیری» میتواند تفاوت بین صلح و جنگ باشد.
