ابزاری به نام Claude Opus 5 به‌جای ایجاد پشتیبان، پوشهٔ پروفایل یک توسعه‌دهنده را حذف کرد و تنها پاسخ کوتاه «متأسفم، تایپو» ارائه داد.

شرح حادثه

کاربر u/Ecstatic-Big5126 در r/ClaudeCode گزارش داد که پس از درخواست ساخت پشتیبان، Opus 5 مسیر فایل‌ها را اشتباه تشخیص داد و فرمان rm -rf /c/Users/harih/ را اجرا کرد. نتیجه پاک‌شدن تمام فایل‌ها و پوشه‌های پروفایل کاربر بود و وقتی کاربر اشتباه را ذکر کرد، مدل تنها نوشت «متأسفم، تایپو».

چرا چنین اشتباهی رخ داد؟

طبق گزارش‌ها، Opus 5 داخل یک پوستهٔ شبیه یونیکس روی ویندوز اجرا می‌شد. مسیر یونیکس‌مانند /c/Users/ به‌عنوان مکان موقت پشتیبان‌گیری در نظر گرفته شد، درحالی‌که انتظار می‌رفت مسیر ویندوزی C:\Users\ باشد. این اختلاف در تفسیر مسیر باعث شد مدل عملیاتی حذف را روی شاخهٔ اشتباه اجرا کند. برای مروری فنی روی فرمان حذف در یونیکس می‌توانید صفحهٔ rm در ویکی‌پدیا را ببینید.

نمونهٔ خط فرمان و هشدار حذف فایل

نمونه‌های مشابه و زمینهٔ مشکل

این رویداد در زنجیره‌ای از خطاهای شناخته‌شدهٔ عامل‌های خودکار و ابزارهای هوش مصنوعی قرار می‌گیرد؛ از پاک‌شدن پایگاه‌داده‌ها توسط ابزارهای خودکار تا حذف ناخواستهٔ درایو کاربران توسط عامل‌های خودمختار. گزارش‌هایی نیز از ضعف‌هایی در سیستم‌های بزرگ ابری و شرکت‌های فناوری منتشر شده است. برای دنبال‌کردن پوشش خبری مرتبط می‌توانید منابع فناوری مانند TechCrunch را پیگیری کنید.

درس‌های فنی و راهکارهای پیشگیری

اعطای دسترسی کامل به مدل‌ها برای اجرای دستورات سیستمی خطر قابل‌توجهی ایجاد می‌کند. اقدامات پیشنهادی برای کاهش ریسک:

  • اصل کمترین امتیاز: عامل‌ها را با حساب‌های محدود و غیرمرتبط با فایل‌های حساس اجرا کنید؛ از دسترسی root/Administrator پرهیز شود.
  • محیط ایزوله (sandbox): دستورات خطرناک را ابتدا در کانتینر یا محیط شبیه‌سازی‌شده اجرا و خروجی را ارزیابی کنید.
  • حالت dry-run و تأیید انسانی: حذف‌های دسته‌ای و تغییرات بحرانی را در حالت شبیه‌سازی اجرا و تنها پس از تأیید انسانی اعمال کنید.
  • محدودسازی و سیاست‌های اجرا: اجراگرها را طوری پیکربندی کنید که فرمان‌های حساس مانند rm -rf نیازمند راستی‌آزمایی چندمرحله‌ای یا فهرست‌سفید باشند.
  • پشتیبان‌گیری و snapshot: قبل از عملیات‌های پرخطر از داده‌ها snapshot یا نسخهٔ پشتیبان تهیه کنید تا بازیابی امکان‌پذیر باشد.
  • نظارت و لاگ‌برداری: تمام فعالیت‌های عامل را ثبت کنید و هر رفتار غیرمعمول را به تیم امنیتی گزارش دهید.
هشدار امنیتی و نسخهٔ پشتیبان

مسئولیت مشترک کاربر و طراح

مسئولیت کاهش این‌گونه خطاها دوطرفه است: مدل‌ها باید به‌صورت محافظه‌کارانه و محدود عمل کنند و کاربران باید دسترسی‌ها را دقیق تنظیم و خروجی‌ها را بازبینی کنند. اجازهٔ اجرای نامحدود دستورات سیستمی به عامل‌ها، ترکیبی از خطای فنی و انسانی تولید می‌کند که پیامدهای جبران‌ناپذیر دارد.

گام‌های بعدی

با گسترش استفاده از عامل‌های هوش مصنوعی، احتمال وقوع حوادث مشابه افزایش می‌یابد. راه‌حل واقعی تلفیقی از آموزش کاربران، طراحی امن عامل‌ها و اعمال سیاست‌های حفاظتی در سطح زیرساخت است. سازمان‌ها باید هرچه سریع‌تر محافظ‌ها و رویه‌های اجرایی را پیاده کنند تا اشتباهات تایپی به فاجعه تبدیل نشوند.

گزارش کاربر اصلی در r/ClaudeCode در دسترس است. برای اطلاعات دربارهٔ سازندهٔ Opus 5 می‌توانید صفحهٔ Anthropic در ویکی‌پدیا را ببینید.