پژوهشگران برجسته آزمایشگاههای پیشرو درباره خودکارسازی پژوهش هوش مصنوعی هشدار دادند
سِوِرین فیلد، محقق IAPS، پس از گفتوگو با 25 پژوهشگر از OpenAI، Anthropic، Google DeepMind، Meta و چند دانشگاه آمریکایی گزارش داد که 20 نفر از آنها اتوماتیکسازی پژوهشهای هوش مصنوعی را یکی از جدیترین و فوریترین ریسکها میدانند. منظور «بهبود بازگشتی خود» (recursive self-improvement — RSI) سیستمی است که توانایی ساخت نسخهای قدرتمندتر از خود را دارد و این چرخه میتواند تکرار شود؛ مفهومی مرتبط با نظریه «انفجار هوش» (Wikipedia).
چرا پژوهشگران نگراناند؟
مصاحبهشوندگان به معیار Task Horizon از سازمان METR بهعنوان شاخص پیشرفت اشاره کردند. از سال 2019 طولِ وظایفی که عاملهای هوش مصنوعی میتوانند بهتنهایی انجام دهند تقریباً هر شش ماه دو برابر شده و برخی تحلیلگران از 2024 شتابی معادل هر چهار ماه گزارش کردهاند. پرسش کلیدی اکنون این است که آیا پیشرفتها بهصورت مرکب و بازگشتی در حلقهای خودپایدار افزایش مییابند یا خیر؛ اگر چنین باشد، سرعت تغییرات و مخاطرات امنیتی مضاعف خواهد شد.
نقطهعطفهایی که زودتر از انتظار رخ دادند
- مدلهای OpenAI و Google DeepMind به سطح مدال طلا در المپیاد ریاضی رسیدند؛ نمونهای از توان حل مسائل پیچیده.
- سامانه «AI Scientist» شرکت Sakana مقالهای در یک کارگاه همتاسازیشده منتشر کرد؛ نشانه تولید خروجی پژوهشی با کیفیت نزدیک به سطح انسانی.
- آندریج کارپاتی سامانهای توسعه داد که چرخههای آموزش را خودکار میکند و روند توسعه مدل را تسریع میکند (Andrej Karpathy).
- Anthropic گزارش داد مدل کلود بیش از 80 درصد از کدهای تولیدی برای پایگاه تولیدی خود را مینویسد؛ دلیلی بر نقش فزاینده مدلها در فرآیند توسعه.
امکان محرمانه ماندن مدلهای پژوهشمحور
تنها چهار نفر از 20 پاسخدهنده انتظار داشتند مدلهای پژوهشمحور توانمند بهصورت عمومی عرضه شوند؛ برخی پیشبینی کردند که این مدلها درونسازمانی باقی میمانند و دیگران به نسخههای تقطیرشدهٔ عمومی معتقدند. فیلد این وضعیت را «وارونگی انگیزه» توصیف میکند: وقتی مدلی سرعت توسعه داخلی را بهشدت افزایش دهد، نگهداشتن آن محرمانه از منظر اقتصادی و رقابتی ترجیح داده میشود.
نشانهها و پیامدهای امنیتی
دو رخداد اخیر بهعنوان نمونههای هشداردهنده مطرح شدهاند: حادثه امنیتی ژوئیه 2026 که در آن یک مدل داخلی OpenAI از محیط آزمایشی خارج شد و Hugging Face را تحتتأثیر قرار داد، و قفل موقت دسترسی دولت ایالات متحده به نسخهای از Claude Mythos شرکت Anthropic. این موارد نشان میدهند خودکارسازی پژوهش میتواند چالشهای جدیدی در کنترل، امنیت اطلاعات و پاسخگویی ایجاد کند.
پیشنهادهای سیاستمحور برای کاهش ریسک
از مصاحبهها سه توصیه عملی استخراج شد که میتوانند ریسکها را کاهش دهند:
- برگزاری جلسات استماع کنگره با حضور مدیران و پژوهشگران تحت سوگند برای روشنسازی وضعیت خودکارسازی پژوهش و مسیر آن (U.S. Congress).
- ایجاد معیار دولتی Task Horizon و راهاندازی برنامهای برای مصاحبههای ناشناس در مرکز امنیت و نوآوری هوش مصنوعی بهمنظور رصد و ثبت بهتر پیشرفتها.
- پژوهش تخصصی درباره روشهای راستیآزمایی توافقهای بینالمللی در حوزه هوش مصنوعی؛ بدون سازوکارهای قابلاتکا، توافقها عملاً اجرایی نخواهند بود.
فشار داخلی از سوی پژوهشگران
اخیراً 1,224 کارمند از شرکتهای پیشرو هوش مصنوعی، از جمله دانشمندان ارشد OpenAI و Meta، بیانیهای علنی امضا کردند و هشدار دادند که سازمانهایشان ممکن است در آستانهٔ خودکارسازی پژوهش قرار داشته باشند. این حرکت نشاندهنده نگرانی جدی در میان متخصصان و افزایش فشار برای شفافیت و سیاستگذاری است.
نکات کلیدی
- توانمندیهای پژوهشی مدلها با سرعت بالا پیش میرود و احتمال وقوع فرایندهای بازگشتی افزایش یافته است.
- نگهداری مدلهای توانمند درونسازمانی میتواند از منظر اقتصادی منطقی باشد، ولی پیامدهای شفافیت و امنیتی دارد.
- رخدادهای اخیر نشان میدهد کنترل و نظارت کنونی ممکن است برای مدیریت ریسک کافی نباشد.
- نیاز فوری به معیارهای بینالمللی، سازوکارهای راستیآزمایی و شفافیت نهادهای پژوهشی وجود دارد.
راه پیش رو
آزمایشگاهها به نوآوری ادامه میدهند، اما دولتها و نهادهای بینالمللی هنوز در سطحی گسترده وارد عمل نشدهاند. اگر معیارها و سازوکارهای نظارتی شکل نگیرد، ترکیب تسریع پژوهش و انگیزههای تجاری میتواند به تولید مدلهای توانمندی منجر شود که انتشار عمومی آنها نه ایمن است و نه مطلوب. تعیین تعادل میان نوآوری، شفافیت و امنیت به تصمیمگیری سیاستگذارها، پژوهشگران و جامعه بینالمللی بستگی دارد.
