یک شبکهٔ واحد برای ترجمه بیمرز زبانها
در نوامبر ۲۰۱۶ پژوهشگران گوگل معماری جدیدی را منتشر کردند که معادلات ترجمه ماشینی را برای همیشه تغییر داد. عنوان این پروژه روی کاغذ ساده به نظر میرسید اما پشت آن انقلابی در مهندسی زبان طبیعی نهفته بود: ساخت یک شبکه عصبی واحد که توانست بهطور همزمان بین دهها جفتزبانی ترجمه انجام دهد. چالش اصلی همیشه این بود که برای هر جفتزبانی نیاز به مدلهای جداگانه و آموزشهای سنگین بود. تیم مایک شاستر، ملوین جانسون و نیکیل تورات راهی یافتند که حتی به تغییر معماری شبکه نیز نیاز نداشت.
این رویکرد که بعداً در نسخهٔ اصلاحشدهٔ سال ۲۰۱۷ تکمیل شد، نشان داد میتوان بدون پیچیدگیهای معماری، قدرت مدل را بهصورت موبیلایزی افزایش داد. در مقابل تلاشهای پیشین که برای هر زبان جدید لایههای اضافی اضافه میکردند، گوگل یک مسیر مستقیم و بهینه را انتخاب کرد.
جادوی یک توکن کوچک
زیبایی معماری گوگل در سادگی محض آن نهفته بود. به جای بازنویسی هزاران خط کد یا تغییر ساختار لایههای ترجمهٔ ماشینی عصبی، محققان تنها یک توکن مصنوعی را به ابتدای هر جملهٔ ورودی افزودند. این توکن نقش نقشهٔ راه را بازی میکرد و به مدل میگفت خروجی باید به کدام زبان تولید شود. بقیهٔ اجزای شبکه کاملاً دستنخورده باقی ماندند.
سه ویژگی کلیدی این طراحی باعث شد مدل هم سبک بماند و هم قدرتمند عمل کند:
- معماری مشترک: رمزگذار، رمزگشا و مکانیزمهای توجه بین تمام زبانها یکسان و به اشتراک گذاشته شدند.
- واژگان مشترک: مدل از یک دیکشنری ووردپیس مشترک استفاده کرد که تمام زبانهای ورودی را پوشش میداد و اصطلاحات تخصصی را در یک فضای واحد دستهبندی میکرد.
- حجم پارامتر ثابت: برخلاف حدس اولیه، افزودن زبان جدید باعث انفجار تعداد پارامترها نشد. نویسندگان مقاله تأکید کردند این روش بهطور قابلتوجهی سادهتر از تمام پیشنهادهای آکادمیک پیشین است.
این انتخاب طراحی پیامد ریاضی عمیقی داشت. وقتی تمام زبانها از یک مسیر عصبی عبور میکنند، مدل مجبور میشود الگوهای مشترک و ساختارهای معنایی را استخراج کند. بهجای حفظ کردن جملات کلمهبهکلمه، شبکه شروع به درک روابط منطقی میان مفاهیم میکند.
عملکرد فراتر از انتظار در بنچمارکها
در دنیای شبکههای عصبی معمولاً کاهش حجم مدل یا ادغام زبانهای متعدد باعث افت کیفیت میشود. نتایج گوگل اما عکس این فرضیه را ثابت کرد. گزارشهای فنی نشان داد که روش چندزبانه نه تنها کیفیت را کاهش نداد، بلکه در بسیاری از موارد آن را ارتقا داد. این پدیده در ادبیات یادگیری ماشین بهعنوان انتقال مثبت شناخته میشود؛ جایی که یادگیری یک وظیفه به بهبود عملکرد در وظیفهٔ دیگر کمک میکند.
اعداد روی بنچمارکهای معتبر WMT گویای همه چیز بود:
- WMT'14 English→French: مدل چندزبانه عملکردی برابر با بهترین سیستمهای تکزبانهٔ اختصاصی ثبت کرد.
- WMT'14 English→German: نتیجه فراتر از وضعیت هنر پیشین (SOTA) ظاهر شد.
- WMT'14 French→English: دوباره مدل واحد عملکرد بهتری نسبت به رقبای اختصاصی نشان داد.
- WMT'15 German→English: رکورد قبلی مجدداً شکسته شد.
این موفقیتها فقط محدود به محیطهای آکادمیک نبود. در کلسترهای دادههای تولیدی گوگل که دامنههای متنوعی از وب و مستندات را پوشش میدادند، مدلهای چندزبانه پوششدهندهٔ ۱۲ جفتزبانی برای بسیاری از ترنزیشنها خروجی خواناتر و طبیعیتری تولید کردند.
ترجمهٔ زبانهای هرگز دیدهنشده
حلقهٔ گمشده و نقطهٔ عطف اصلی کار ۲۰۱۶، قابلیت ترجمهٔ صفر-شات بود. گوگل ثابت کرد مدل میتواند پلی ضمنی بین جفتهای زبانی بسازد که حتی یک جملهٔ آموزشی متناظر از آنها در تاریخچهٔ مدل وجود نداشته است. مشهورترین مثال این قابلیت ترکیب ژاپنی و کرهای بود.
مدلی که صرفاً روی دادههای ژاپنی↔انگلیسی و کرهای↔انگلیسی آموزش دیده بود، توانست مستقیماً جملات ژاپنی را به کرهای ترجمه کند. هیچ جفتِ مستقیمِ ژاپنی به کرهای در ورودی نبوده است. شبکه با استفاده از فضای نمایش مشترک و کدهای معنایی استخراجشده از زبان واسط (انگلیسی)، پل ارتباطی را بهصورت ذاتی ساخت. این یعنی دانش معنایی بهصورت رایگان بین زبانها سرریز شد و برای زبانهای کممنبع که جمعآوری دادهٔ موازی در آنها بسیار دشوار است، یک شکاف عظیم را پر کرد.
ظهور یک زبان درونزبانی ماشینی
شاید ملموسترین بخش کشف پژوهشگران، تحلیل لایههای پنهان شبکه بود. وقتی تیم فنی خروجیهای نرونی را بصریسازی کردند، مشاهده کردند جملاتی که معنای یکسانی داشتند اما به زبانهای مختلف نوشته شده بودند، در فضای برداری دقیقاً در کنارِ هم خوشهبندی میشوند. این الگوی ریاضی نویددهنده پدیدهای بود که محققان آن را نمایش بینزبانی جهانی نامیدند.
شبکه یاد گرفت بهجای ترجمهٔ لغتمحور و خطی، هستهٔ معنایی جمله را رمزگذاری کند. وقتی زبانها با هم ترکیب میشوند یا ساختارهای دستوری متفاوتی دارند، مدل همچنان به دنبال همان مفاهیم پایه میگردد. این رفتار نشان میدهد شبکه عصبی در حال نزدیک شدن به نوعی زبان درونی مشترک است که میتواند تمام ورودیها را بدون نیاز به نگاشت مستقیم، به خروجیٔ قابل فهم تبدیل کند. این پایهریزی نظری دقیقاً همان مسیری است که مدلهای زبانی بزرگ چندزبانهٔ امروزی برای درک و تولید متن در صدها زبان از آن استفاده میکنند و مرزهای ارتباط بشری را بازتعریف میکنند.
