گوگل دیپمایند نخستین بار «ارزیابی دوسوکور جمینی» را داخل یک محفظهٔ محرمانه اجرا کرد؛ وزنهای مدل برای ارزیاب مخفی نگه داشته شد و سوالهای آزمون نیز پیش از اجرا در اختیار گوگل قرار نگرفتند تا از نشت بنچمارک جلوگیری شود.
اهمیت ارزیابی دوسوکور جمینی
نشت بنچمارک و آلودگی دادهها تشخیص عملکرد واقعی مدلها را پیچیده میکند؛ اگر مدل پیشتر با سوالهای آزمایش آشنا باشد، امتیازهای بهدستآمده تصویر غلطی از تواناییهای آن ارائه میدهند. ارزیابی دوسوکور با پنهانسازی وزنها و سوالها تلاش میکند اعتبار نتایج را افزایش دهد.
چگونه محفظهٔ محرمانه عمل کرد
پایلوت دیپمایند از Google Cloud Confidential Space همراه با یک GPU محرمانهٔ NVIDIA H100 و فناوری رمزنگاری حافظهٔ میزبان Intel TDX استفاده کرد. فرایند کلی چنین است: وزنها و کد استنتاج داخل محفظه بارگذاری میشوند، ارزیاب پرامپتها و کد ارزیابی را وارد میکند و همهٔ تبادلها از طریق اتصالات رمزگذاریشده به محیط ایزوله منتقل میشوند تا اجرا بدون دسترسی متقابل به داراییها انجام شود.
محافظت سختافزاری و تأیید از راه دور
وزنها در حافظهٔ GPU که بهصورت سختافزاری رمزنگاری شده نگهداری میشوند و پرامپتها در حافظهٔ میزبان رمزنگاریشده ذخیره میشوند. فرایند تأیید از راه دور تضمین میکند محفظه همان نرمافزاری را اجرا میکند که طرفین توافق کردهاند. پس از پایان ارزیابی تنها خروجیهای مجاز در اختیار ارزیاب قرار میگیرد و محیط موقت نابود میشود.
کنترل کد و جلوگیری از نشت اطلاعات
رمزنگاری حافظه بخشی از حفاظت است؛ کدی که داخل محفظه اجرا میشود نیز باید تحت کنترل قرار گیرد تا راههای خروجی اطلاعات بسته شوند. برای کاهش ریسک، تیمها از ابزارهایی مانند PySyft برای پیشبررسی کد و اعمال محدودیتها استفاده میکنند. اقدامات متداول شامل موارد زیر است:
- بازبینی و تأیید پیش از اجرای کد
- مسدودسازی اتصالات خروجی و اعمال فایروالهای داخلی
- محدودسازی دسترسی به فایلها و منابع سیستمی
- مکانیزمهای امضای نرمافزاری برای تضمین یکپارچگی اجرا
هزینهٔ اجرایی و موانع غیر فنی
مطالعهٔ گوگل سربار محاسباتی این فرایند را کمتر از ۵٪ گزارش کرده است؛ با این حال موانع اصلی حقوقی و فرآیندیاند: توافقهای حقوقی بین سازمانها، بازبینی متقابل کد و فرایندهای امضای دیجیتال که برای اعتماد در زنجیره لازماند. در عمل، گوگل همچنان در زنجیرهٔ تأیید نقش دارد چون امضاها و گزارشهای تأیید به خدماتی وابستهاند که مدیریت آنها به عهدهٔ اجراکننده است.
گسترش به مدلهای بزرگتر
پایلوت حاضر جمینی 2.5 Flash Lite را روی یک GPU محرمانهٔ H100 80GB اجرا کرد. تیمها در حال برنامهریزی برای اجرای ارزیابی روی خوشههایی از GPUهای H100 و B200 هستند که با لینکهای رمزنگاریشده متصل میشوند تا بتوان مدلهایی را ارزیابی کرد که فراتر از ظرفیت یک GPU واحد قرار دارند. اگر این روش مقیاسپذیر شود، شواهد قابلاعتمادی فراهم خواهد شد که شرکت پشتیبان مدل پیش از انتشار نتایج، آزمون را ندیده است.
ارجاعات و چشمانداز
این چارچوب ترکیبی از محاسبات محرمانه، رمزنگاری حافظه و کنترل اجرای کد است. سازمانهایی مانند MLCommons و مراکز پژوهشی در حوزهٔ ایمنی هوش مصنوعی میتوانند از این رویکردها برای کاهش نگرانیهای ناشی از آلودگی بنچمارک بهرهمند شوند؛ با این حال اعتماد به سختافزار و فرآیندهای امضای دیجیتال همچنان بخشی از معادله باقی میماند.
در صورت استانداردسازی، این روش ابزار عملی و قابل استنادی در اختیار جامعهٔ تحقیقاتی قرار میدهد تا بیطرفی آزمونها را بهتر تضمین کنند؛ اما رسیدن به آن مستلزم حل مسائل فنی، حقوقی و زنجیرهٔ اعتماد سختافزاری است.
