NVIDIA همراه با ۳۶ سازمان دیگر ائتلاف ۳۷عضوی Open Secure AI را تشکیل داد تا ابزارها، استانداردها و پیادهسازیهای متنباز لازم برای ایمنسازی عاملهای هوش مصنوعی را توسعه و بهاشتراک بگذارد. اعضای شناختهشده شامل Microsoft، Cisco، Cloudflare، CrowdStrike، Hugging Face، IBM، Palo Alto Networks، Red Hat و Linux Foundation هستند.
هدف ائتلاف و حوزههای تحت پوشش
تمرکز ائتلاف بر پوشش کامل پشتهٔ عاملهای هوش مصنوعی است تا بتوانند در محیطهای واقعی با سطح اطمینان بالا اجرا شوند. محورهای کلیدی عبارتاند از:
- مدیریت هویت و دسترسی (IAM) و کنترلهای مجوز
- ایزولاسیون اجرا (کانتینر، ماشین مجازی، سندباکس)
- محافظتهای قراردادی و مکانیزمهای محدودسازی (guardrails)
- ثبت و ردیابی (لاگینگ، آودیت ترایل)
- قالبها و اسکیمای مدلها و قراردادهای نوع
- اسکن چندمدلی و سازوکارهای ارزیابی امنیتی
- گردشکارهای برنامهنویسی ایمن و ابزارهای توسعهٔ قابلتست
دیدگاه بنیانی این است که تیمهای دفاعی به مدلهایی نیاز دارند که قابل خواندن، قابل تغییر و قابل اجرا روی زیرساختهای خودشان باشند؛ نه مدلهایی که صرفاً از طریق APIهای بستهٔ یک فروشنده قابلدسترساند.
NOOA — چارچوب پژوهشی متنباز از NVIDIA
اولین خروجی فنی ائتلاف، چارچوب پژوهشی NVIDIA-labs OO Agents (NOOA) است که تحت مجوز Apache 2.0 متنباز شده است. NOOA عاملها را بهصورت کلاسهای پایتون مدلسازی میکند؛ در این مدل فیلدها حالت داخلی را نگه میدارند، متدها قابلیتها را تعریف میکنند، docstringها بهعنوان پرامپتِ هدایتکننده عمل میکنند و حاشیهنویسیهای نوع قراردادهای موردانتظار از مدل را مشخص میکنند.
روش اجرا و تفکیک رفتار
در NOOA متدهایی که بدنهٔ آنها شامل نشانهٔ جایگزین سه نقطه (...) است، در زمان اجرا توسط یک حلقهٔ هدایتشده با مدل زبان بزرگ تکمیل میشوند؛ اما متدهایی که شامل کد پایتون عادی هستند، رفتار تعیینشده، قابل تست و قابل بازتولید دارند. این تفکیک امکان استفاده از ابزارهای توسعهٔ معمول—مثل تست واحد، کنترل نسخه، بررسی کد و ردیابی—را فراهم میکند و از پراکندگی رفتار عامل میان پرامپتها، اسکیمای ابزارها و callbackها جلوگیری میکند.
هشدارهای امنیتی و محدودهٔ مسئولیت
مخزن NOOA صریحاً ریسکهای اجرای کد تولیدشده توسط مدل را اعلام کرده است: فعال کردن اجرای کد تولیدشده میتواند منجر به افشای دادههای خصوصی، حذف فایلها یا تغییر محیط اجرا شود. کنترلهای پیشنهادی شامل بررسی درخت نحو انتزاعی (AST) و فهرستهای رد ماژولها است، اما خودِ مخزن این کنترلها را «مرز مهارکننده» کامل نمیداند.
NVIDIA تأکید میکند که مهار نهایی باید در سطح سیستمعامل برقرار شود: عاملهایی که کد تولیدشده را اجرا میکنند باید در پشت سازوکارهایی مانند کانتینر، ماشین مجازی یا سندباکسهای سطح سیستم قرار بگیرند. NOOA ابزارهایی برای بازرسی و ردیابی فراهم میکند، اما مسئولیت containment نهایی برعهدهٔ محیط اجرا است.
توصیههای عملی برای کاهش ریسک
- اجرای عاملها در کانتینر یا ماشین مجازی جداگانه با محدودیتهای شبکهای
- اعمال فیلترهای سیستمعاملی (مثلاً seccomp) و سیاستهای حداقلی دسترسی فایل
- مسدودسازی اجرای ماژولهای پرریسک از طریق denylist و بررسی AST پیش از اجرا
- فعالسازی لاگینگ کامل و سامانهٔ پاسخ به رخداد برای تمام اجراها
- بازبینی دستی و تست واحد برای بخشهایی که اجرای کد تولیدشده را ممکن میکنند
وضعیت مخزن و عملکرد گزارششده
NVIDIA در ارزیابی داخلی گزارش کرد که NOOA، با استفاده از GPT-5.5 و با مسدودسازی دسترسی شبکهای و بررسیهای قاعدهمحور روی مسیرها، در بنچمارک CyberGym L1 برای کشف مجدد آسیبپذیریها امتیاز 86.8% کسب کرده است. بررسی عمومی مخزن نشان میدهد برچسب v0.0.6 در تاریخ 22 جولای منتشر شده و روند انتشار پروژه مبتنی بر برچسبزدن commit است.
راهنمای مشارکت میگوید توسعهٔ اصلی توسط NVIDIA نگهداری میشود و مشارکتهای خارجی از طریق pull request پذیرفته میشود، اما تا زمان نگارش این گزارش مخزن فاقد منشور حاکمیتی یا نقشهٔ راه عمومی بوده است. در نتیجه پرسشهایی دربارهٔ نقشها، مسئولیتها و تعهدات اعضا همچنان مطرح است.
رویداد نفوذ Hugging Face و چرایی تمرکز بر مدلهای محلی
NVIDIA نیاز به مدلهای دفاعی قابل اجرا روی زیرساخت محلی را به نفوذی که در ژوئیه سال جاری به Hugging Face وارد شد مرتبط کرده است؛ در آن حادثه یک عامل خودکار بخشهایی از زیرساخت تولید را مختل کرد. گزارشهای نهایی نشان میدهند دسترسی اولیه از طریق یک مجموعهدادهٔ آلوده بوده که loader مربوطه را برای اجرای کد از راه دور و تزریق قالب (template injection) سوءاستفاده کرده است.
Hugging Face برای بازسازی زنجیرهٔ رخداد و استخراج شاخصهای نفوذ بهطور موقت از مدلهای محلی و عاملهای تحلیلی هدایتشده توسط LLM استفاده کرد. نتیجهٔ عملی آنها این بود که داشتن مدلهای توانمند و قابل اجرا روی زیرساخت داخلی میتواند مزیت امنیتی فراهم کند، اما «مستقل بودن مدل» جایگزین ایزولاسیون، مدیریت هویت و مهارهای دیگر نیست.
چه انتظاری باید داشت و توصیه نهایی
راهاندازی ائتلاف Open Secure AI و متنباز شدن NOOA نقطهٔ شروع مهمی برای همکاری میان بازیگران بزرگ در حوزهٔ امنیت و هوش مصنوعی است، اما چند موضوع کلیدی هنوز نامشخص باقی ماندهاند: ساختار حاکمیت، جدول زمانی خروجیها و سطح تعهد اعضا.
اگر اعضا چارچوبهای شفاف برای مشارکت، استانداردهای فنی و برنامهٔ تحویل تعریف کنند، این ائتلاف میتواند جریان ابزارها و پروتکلهای قابلاعتماد برای اعمال امنیت در عاملهای هوش مصنوعی را تسریع کند. تا انتشار جزئیات حاکمیتی و برنامهٔ کاری، توصیهٔ عملی این است که توسعهدهندگان و تیمهای امنیت هنگام آزمایش NOOA از ایزولاسیون سطح سیستمعامل و کنترلهای دفاعی چندلایه استفاده کنند.
منابع مرتبط: صفحه NVIDIA در ویکیپدیا، مجوز Apache 2.0 و گیتهاب.
