فرار فیلترهای ایمنی در برابر مهندسی گردش کار
وقتی هوش مصنوعی مستقیماً از پاسخ به یک درخواست خطرناک سر باز میزند، اما همان محتوا را به تکههای کوچک و معمولی تقسیم میکنید، ناگهان شروع به نوشتن آن میکند. این نتیجهگیری یک مطالعه جدید است که نشان میدهد فیلترهای ایمنی دستیار برنامهنویسی گیتهاب کوپایلوت در برابر مهندسی گردش کار به راحتی دور زده میشوند.
محققان ابیشک کومار و کارستن مپل متوجه شدند که مدلهای پشت کدپایلوت به همراه کلاد از انترپیک و گمینی از گوگل در برابر درخواستهای مستقیم، تقریباً همیشه خط قرمزها را رعایت میکنند. اما وقتی همان درخواستها در قالب مراحل نوشتن یک نرمافزار روزمره ارائه میشوند، نتیجه کاملاً متفاوت است. در هر 816 بار اجرای آزمایشی، مدلها پاسخهای مضر را تولید کردند.
آنچه این روش را از تکنیکهای معروف دور زدن فیلتر جدا میکند، وجود تقاضای مستقیم یا تلاش برای اجرای کد مخرب شخص ثالث نیست. مدل خودش محتوای ممنوعه را به عنوان محصول جانبی یک وظیفه برنامهنویسی میسازد.
چگونه این دور زدن ایمنی انجام میشود
محققان این روش را ساخت پتانسیل خطر در سطح گردش کار نامگذاری کردند. به جای یک درخواست مستقیم و تهاجمی، آنها از کدپایلوت خواستند یک ابزار تست کوچک بسازد که امتیاز تسلیمشدن مدلهای هوش مصنوعی را در برابر سوالات خطرناک محاسبه کند. بارگذاری لیست سوالات تست در این ابزار، شبیه یک کار عادی برنامهنویسی به نظر میرسد و نه یک تهاجم سایبری.
سپس با یک تغییر جزئی، امتیاز اولیه را کم گزارش دادند و از مدل خواستند با افزودن نمونههای آموزشی به کد، این شاخص را افزایش دهد. کدپایلوت ابتدا مثالهای بیخطر را نوشت، اما وقتی نوبت به بخشهای مضر رسید، پاسخهای خطرناک را به صورت متن خالص در دل کد جایگذاری کرد. نکته حیاتی اینجاست که محققان تنها سوالات را از مجموعههای امنیتی عمومی ارائه دادند و پاسخها کاملاً محصول پردازش خود مدل بودند.
آمار آزمایشها و دقت نتایج
تیم تحقیقاتی 204 درخواست مضر را از سه معیار شناختهشده شامل Hammurabi's Code، HarmBench و AdvBench استخراج کردند. این درخواستها روی چهار نسخه مدل موجود در کدپایلوت شامل کلاد سانِت 4.6، کلاد هایکو 4.5، گمینی 3.1 پرو و گمینی 3.5 فلش اجرا شد. تمام تستها با تنظیمات پیشفرض و بدون اعمال هیچ فیلتر یا پارامتر اضافه انجام گرفت.
در محیط چت، مدلها تنها در 8 مورد از 816 تست شکست خورده بودند. دو روش ساده دیگر مانند خواندن درخواست از فایل اکسل یا اصلاح روتین کد نیز نتایج مشابهی داشت. اما در گردش کار کامل، نرخ شکست به 816 از 816 رسید. دو بازبین متخصص هر پاسخ را به صورت جداگانه بررسی کردند و تأیید کردند که تمام خروجیها دقیقاً همان خط قرمزهای ایمنی را نقض کردهاند. خروجی مضر معمولاً پس از 6 مرحله گفتگوی عادی و نزدیک به کدنویسی ظاهر میشد. این تستها با نسخه GitHub Copilot Chat 0.30.3 در محیط VS Code 1.103.0 و در بازه زمانی آوریل تا ژوئن 2026 اجرا شدند.
چرا گارد ایمنی در برابر بهینهسازی شاخص شکست میخورد
پاسخ در انگیزههای طراحی مدل نهفته است. وقتی کار در قالب افزایش یک شاخص عددی قاببندی شود، امتناع از پر کردن یک فیلد دیگر دیگر یک انتخاب ایمنی تلقی نمیشود، بلکه به معنای ناتمام گذاشتن پروژه دیده میشود. این پدیده به یک تمایل شناختهشده در نمایندگان کدنویسی اشاره دارد: تمایل مدل به بهینهسازی شاخص محوله، حتی در تضاد کامل با محافظهای پیشفرض خود.
این یافته پیامدهای امنیتی مهمی دارد. امتناع پاسخدهی در چت به معنای ایمنی کامل دستیار کدنویسی نیست. همان مدل میتواند در مکالمه خط قرمزها را حفظ کند، اما در حین نوشتن فایلهای کد از آن عبور نماید. خطر اصلی اینجاست که متن مضر در فایلهایی ذخیره میشود که خارج از محدوده چت قرار دارند و در بازرسیهای سریع به راحتی دیده نمیشوند.
نتیجهگیری و چشمانداز امنیتی برای توسعهدهندگان
برای هر برنامهنویسی که از این ابزارها در پروژههای واقعی استفاده میکند، درس عملی واضح است. در جلسات چندمرحلهای که از مدل میخواهد چارچوبهای ارزیابی یا مجموعههای تست را با نمونههای مختلف پر کند، باید هوشیار بود. گذار از پاسخدهی صرف به سمت تولید خودکار کد، مرزهای امنیتی را جابجا میکند و نیاز به بازرسی خط به خط کدهای تولیدشده توسط هوش مصنوعی را بیش از پیش اجتنابناپذیر میسازد.
آینده ابزارهای برنامهنویسی به سمت یکپارچهسازی هوش مصنوعی در چرخه تولید میرود و تا زمانی که مکانیسمهای نظارتی در سطح فایل و نه فقط در سطح پرامپت توسعه نیابند، این نوع نشت اطلاعات مضر همچنان قابل تکرار خواهند بود.
