یک تصمیم هوشمندانه برای شکستن سنتهای آکادمیک
درست در بهار ۲۰۱۷، هشت پژوهشگر گوگل پیش از رسیدن به مهلت تحویل، یک مقاله کوتاه اما انفجاری را به کنفرانس NIPS تقدیم کردند. آن برگه که امروز با بیش از ۲۵۰ هزار استناد، جزو ده مقاله پراستناد قرن حاضر محسوب میشود، معماری «ترنسفورمر» را معرفی کرد. همین معماری حالا موتور محرک مدلهای زبانی بزرگ، تولیدکنندگان تصویر و تمام سیستمهای هوش مصنوعی است که چهره جهان را دگرگون کردهاند. اما شاید داستان جذابتری از خودِ آن صفحهی PDF وجود داشته باشد: پس از انتشار مقاله، تکتک این هشت پژوهشگر گوگل را ترک کردند و پراکنده شدند تا دقیقاً همان آیندهای را بسازند که کارنامهی مشترکشان آن را ممکن ساخته است.
ترتیب نامها در صفحه اول مقاله، تنها یک اتفاق سهوی نبود. نوام شازیر که قدیمیترین عضو گروه محسوب میشد، با دیدن پیشنویس اولیه شوکه شد که نامش در جایگاه نخست قرار گرفته است. او بعدها اعتراف کرد که اصلاً به این موضوع فکر نمیکردند. محققان که تحت فشار زمان برای آمادهسازی نهایی مقاله بودند، تصمیمی جسورانه گرفتند: میخواستند سنت رتبهبندیِ سختگیرانهی مشارکتکنندگان را نقض کنند. به انتهای هر هشت نام یک ستاره اضافه شد و در پانویس دقیقاً قید شد که نویسندگان از نظر مشارکت کاملاً برابرند و ترتیب لیست بهصورت کاملاً تصادفی تعیین شده است.
این هشت چهره در همان ترتیب غیرمرتبط عبارتند از:
- آشیش واسوانی
- نوام شازیر
- نیکی پارمار
- یاکوب اوسکوریت
- لیون جونز
- آیدان گومز
- لوکاش کایزر
- ایلیا پولوسوخین
شازیر امروز بهشوخی میگوید اگر میدانست این برگهی ساده قرار است چگونه اینترنت و صنعت فناوری را دگرگون کند، احتمالاً دیرتر دربارهی اولویت نامها فکر میکرد. به نقل از وبسایت Wired، این گروه حالا به «ریزسلبریتیهای» دنیای فناوری تبدیل شدهاند. بازیگوشی حتی در نامگذاری هم دیده میشد؛ عنوان مقاله ایهامی طنزآمیز به ترانهی معروف گروه بیتلز داشت و «ترنسفورمر» صرفاً پسنددهی یاکوب اوسکوریت از آهنگش بود. اسناد اولیه طراحی هم گاهی با تصویر شخصیتهای ماشینتبدیل کارتونی تدوین میشدند.
یاکوب اوسکوریت و خاستگاه یک ایدهی غیرقابل بازگشت
نقطهی شروع تمام این تحولات، نام چهارم در فهرست است. اوسکوریت فرزند هانس اوسکوریت، زبانشناس محاسباتی آلمانی و فعال سیاسی سابق است که زندگینامهی او از زندانهای آلمان شرقی تا آزمایشگاههای هوش مصنوعی SRI در کالیفرنیا کشیده شده است. اوسکوریت پس از بازگشت خانواده به آلمان، مسیر تحصیقات تکمیلی را عمداً با یک فرصت کارآموزی در مانتینویو گوگل گره زد. همان دورهی کارآموزی بود که او را وارد گروه ترجمهی ماشین و پروژههای پاسخگوی هوشمند به جستجوها کرد؛ پروژهای که مستقیماً با عرضهی سیری از سوی اپل، به یک اولویت استراتژیک برای گوگل تبدیل شده بود.
در آن دوران، شبکههای عصبی بازگشتی (RNN) و ساختارهای حافظهی بلندمدت (LSTM) حکمفرما بودند. این مدلها متن را خطبهخط و کلمهبهکلمه میخواندند و بهسرعت در مواجهه با جملات طولانی یا وابستگیهای دور از هم، قدرت تحلیل خود را از دست میدادند. اوسکوریت یادداشت میکرد که روشهای آن روزگاری مانند پچهای موقت عمل میکردند و راهحلی مقیاسپذیر برای پردازش زبانی ارائه نمیدادند. در حدود سال ۲۰۱۴، تیم تحقیقاتی او شروع به آزمایش مکانیزمی کاملاً متفاوت کرد که بعدها به «توجهِ درونی» یا Self-Attention معروف شد.
برخلاف مدلهای قدیمی که نیاز به پیروی از خط زمان داشتند، این شبکهی جدید تمام کلمات یک جمله را همزمان با یکدیگر میسنجید. هر کلمه بهسرعت میزان اهمیت خود را در لحظه نسبت به سایر کلمات جمله محاسبه میکرد. این همارزیابی موازی باعث شد مدل بتواند ارتباطات پیچیده، ارجاعات همزمان و وابستگیهای طولانیمدت متن را با دقتی بیسابقه درک کند. برای درک عمیقتر چگونگی تغییر پارادایم از شبکههای بازگشتی به مکانیزمهای مبتنی بر توجه، مطالعهی تاریخچهی مقاله Attention Is All You Need در ویکیپدیا گزینهی روشنی است.
از پردازش متن تا معماریهای نوظهور: میراث مشترک
معماری ترنسفورمر تنها برای ترجمهی ماشینی طراحی نشد. پس از ارائهی این برگهی ۷ صفحهای، سرعت یادگیری ماشین چندین مرتبه افزایش یافت. مدلهایی که پیشتر به روزهای زیادی برای پردازش نیاز داشتند، حالا قادر بودند در ساعات بسیار کمتر به نتایج دقیقتری دست یابند. این جهش کیفی، زیرساخت استاندارد جدیدی را برای صنعت هوش مصنوعی رقم زد.
امروزه وقتی با سیستمهای تولید متن، تحلیل دادههای پیچیده یا مدلهای مولد تصویر سروکار داریم، در لایههای کد آنها اثرات همان تصمیمگیریهای مشترک تیم آکادمیک ۲۰۱۷ را به وضوح میبینیم. حالا که هشت پژوهشگر گوگل مسیر شغلی خود را به سمت شرکتهای پیشرو، استارتاپهای تخصصی و مراکز تحقیقاتی مستقل گزاردند، عملاً کنترل قطعات اصلی این معماری را از یک شرکت فناوری خارج کردند. این پراکندگی به معنای ضعف نیست، بلکه نشان از بلوغ یک زیرساخت بنیادین دارد که حالا در دستان طیف وسیعی از توسعهدهندگان قرار گرفته. با گسترش روزافزون مدلهای چندوجهی، احتمالاً شاهد خواهیم بود که این هشت نام، نه بهعنوان خاطراتی از گذشته، بلکه بهعنوان پایهگذاران نسلی از الگوریتمهای خودتنظیم که محدودیتهای محاسباتی و ارجاع زبانی را بهکلی دگرگون خواهند کرد، در تاریخ فناوری ثبت میشوند.
