جیکوب تسیمِرمن، برندهٔ تازهٔ مدال فیلدز و استاد نظریهٔ اعداد دانشگاه تورنتو، به اوپنایآی پیوست تا در تیم ایمنی هوش مصنوعی مشغول به کار شود. او در مصاحبهها هشدار داده که هوش مصنوعی فناورانهای بسیار تحولآفرین است و اکنون بیش از همیشه به اقدامهای جدی برای تضمین رفتار ایمن نیاز دارد.
چرا یک ریاضیدان برجسته به حوزهٔ ایمنی هوش مصنوعی میآید؟
تسیمِرمن معتقد است بسیاری از سامانههای هوش مصنوعی امروز بر پایهٔ تجربهٔ عملی و آزمایش ساخته شدهاند و ضمانتهای نظری دربارهٔ رفتار بلندمدت آنها اندک است. ریاضیات و منطق رسمی میتوانند ابزارهایی برای اثبات ویژگیهای کلیدی سیستمها فراهم کنند و احتمال رفتارهای پیشبینینشده را کاهش دهند.
نقشِ ریاضیات و منطق رسمی
- تحلیل ساختاریِ مدلها و خواص آنها بهصورت فرمال؛
- طراحی الگوریتمهای اعتبارسنجی که رفتارها را پیش از استقرار ارزیابی میکنند؛
- پیوند نظریه با مهندسی برای تعریف محدودههای عملیاتی امن.
مقاله دربارهٔ «رویدادهای نابودی همگانی» و ارزیابی مخاطرات
سال گذشته تسیمِرمن مقالهای دربارهٔ رویدادهای نابودی همگانی منتشر کرد؛ سناریوهایی که ممکن است در آنها رفتارهای نامطلوبِ سامانههای پیشرفتهٔ هوش مصنوعی به تهدید وجودی بشر بیانجامد. او تأکید کرده واکنشِ هراسآلود راهحل نیست و در عین حال صرفِ ردّ مخاطره هم بیپایه است: مخاطرات باید شفاف و واقعبینانه تحلیل و براساس آن برنامههای عملی تدوین شوند.
پیشرفتهای هوش مصنوعی در ریاضیات و دیدگاههای مطرح
تسیمِرمن پیشبینی میکند هوش مصنوعی میتواند در پژوهشهای ریاضی تواناییهایی فراتر از انسانها پیدا کند. از سوی دیگر دمیس هاسابیِس، مدیرعامل پیشین DeepMind، این پیشرفتها را مهم میداند اما آن را برابر با رخدادهای تاریخی مانند «حرکت 37» AlphaGo نمیداند. هاسابیِس معتقد است رسیدن به نقطهٔ عطف حقیقی نیازمند حل مسائل بنیادینی مانند مسائل جایزه هزاره است؛ مدلهایی مانند Astra از اوپنایآی تاکنون در این مسائل به موفقیت قطعی نرسیدهاند، اما امکانپذیری پیشرفتهای چشمگیر را نفی نمیکند.
پیامدهای حضور تسیمِرمن در اوپنایآی
ورود یک مدالگیر فیلدز به حوزهٔ ایمنی میتواند چند مسیر تحقیق و توسعه را تقویت کند:
- افزایش مطالعات نظری برای فهم بهتر رفتار مدلهای بزرگ؛
- توسعهٔ ابزارهای رسمی اعتبارسنجی و چارچوبهای اثباتپذیر؛
- ایجاد پیوندهای عمیقتر بین جامعهٔ ریاضی و تیمهای مهندسی برای انتقال روشهای صوری به فرایندهای عملی.
نتایج ممکن برای صنعت
این همکاری میتواند به طراحی سازوکارهایی منجر شود که رفتارهای پرریسک را پیش از تولید انبوه شناسایی یا محدود سازند و استانداردهای جدیدی برای توسعهٔ مسئولانهٔ هوش مصنوعی شکل دهند.
نکاتی که باید دنبال کرد
- انتشار پژوهشهای مشترک بین تسیمِرمن و تیم ایمنی اوپنایآی و بررسی تأثیر آنها بر استانداردهای صنعتی؛
- پیشرفت مدلها در حل مسائل نظری بزرگ و ارزیابی عملیِ توانایی آنها در پژوهش ریاضی؛
- تغییرات در استراتژیها و سیاستگذاریهای شرکتی پیرامون ارزیابی ریسک، شفافیت فنی و سازوکارهای نظارتی.
حضور تسیمِرمن نشان میدهد ایمنی هوش مصنوعی صرفاً مسألهٔ مهندسی نیست؛ ترکیبی از ریاضیات اثباتی، اخلاق فناوری و مهندسی لازم است تا سامانههایی توانمند و قابلاعتماد ساخته شوند. روند همکاریهای بینرشتهای در ماهها و سالهای آینده تعیینکنندهٔ چارچوبهای جدید توسعهٔ مسئولانهٔ این فناوری خواهد بود.
