یکی از متحولکنندهترین ایدهها در یادگیری ماشین مدرن، مفهوم بازنمایی توزیعشده (Distributed Representations) برای واژگان است. پیش از این، کلمات صرفاً نمادهایی مستقل و گسسته به شمار میرفتند. مقاله زیربنایی با عنوان «یک مدل زبانی احتمالاتی عصبی» (A Neural Probabilistic Language Model) به قلم یوشوا بنجیو، رِژان دوشارم و پاسکال ونسان، مسیر جدیدی را در پردازش زبان طبیعی هموار کرد. این پژوهش، پاسخی اصولی و مبتنی بر شبکههای عصبی به یکی از سرسختترین چالشهای زبانشناسی رایانشی ارائه داد: چگونه میتوان به ترکیبهایی از واژگان که یک مدل پیشتر هرگز آنها را ندیده است، احتمالهای معناداری اختصاص داد؟
ریشههای پژوهش در دانشگاه مونترآل
این مقاله پیشگامانه، بستر آکادمیک خود را در دانشگاه مونترآل (Université de Montréal) پیدا کرد. نویسندگان که به دپارتمان علوم رایانه و تحقیق در عملیات وابسته بودند، شیوه تفکر پژوهشگران درباره بازنمایی نمادهای گسسته در فضاهای پیوسته و ریاضی را برای همیشه دگرگون ساختند. همکاری این سه پژوهشگر منجر به توسعه ساختاری شد که بعدها پایهای برای شبکههای عصبی بازگشتی و مدلهای تبدیلی امروزی قرار گرفت.
تکامل مدلهای زبانی در مواجهه با نفرین ابعاد
هدف اصلی مدلسازی آماری زبان، یادگیری تابع احتمال مشترک برای دنبالهای از واژگان است. با این حال، پیادهسازی این هدف با چالشی عظیم به نام «نفرین ابعاد» (Curse of Dimensionality) روبهرو است. در دنیای واقعی، دنبالهای از کلمات که مدل در زمان ارزیابی با آن مواجه میشود، تقریباً بهطور قطع با تمام دنبالههای مشاهدهشده در фاز آموزش متفاوت خواهد بود.
چون تعداد ترکیبهای ممکنِ کلمات با افزایش طول جمله و گستره واژگان بهصورت ترکیبیاتی رشد میکند، هیچ پیکره آموزشی ــ هراندازه هم عظیم باشد ــ نمیتواند تمام جملات احتمالی یک زبان را پوشش دهد. بنابراین، هر روشی که صرفاً به حفظ کردن و یادآوری دنبالههای پیشین متکی باشد، از پایه دچار محدودیت عملکردی خواهد شد.
محدودیتهای ساختاری روشهای سنتی N-Gram
تا پیش از ارائه این رویکرد نوین، مدلهای N-Gram سلطه بیچونوچرایی بر پردازش زبان داشتند. این الگوریتمها با ترکیب قطعات کوتاه و همپوشانی از متنهای مشاهدهشده در زمان آموزش، سعی میکردند احتمال وقوع جملات طولانیتر را تخمین بزنند. اگرچه این روشها در عمل کارایی قابل قبولی داشتند، اما از یک ضعف اساسی رنج میبردند.
مدلهای N-Gram توانایی درک ارتباطات معنایی عمیق را نداشتند. آنها نمیتوانستند درک کنند که دو کلمه یا دو جمله کاملاً متفاوت از نظر ساختاری، میتوانند از نظر معنایی بهشدت به یکدیگر نزدیک باشند و دانش مربوط به یکی، مستقیماً به دیگری تعمیم یابد.
قدرت هندسی در بازنماییهای توزیعشده
هسته مرکزی مقاله بنجیو، مقابله با نفرین ابعاد از طریق یادگیری بازنماییهای توزیعشده برای واژگان است. قدرت این ایده در دامنه اثرگذاری آن نهفته است؛ چنین معماری به سیستم اجازه میدهد تنها با مشاهده یک جمله آموزشی، اطلاعات ارزشمندی درباره بیشمار جملهِ معنادار و همسایه استخراج کند.
در این فضای ریاضی، کلمات بهجای اینکه نمادهای منفرد باشند، در یک فضای برداری تعبیه (Embedding) میشوند که در آن «شباهت معنایی» مفهومی کاملاً هندسی پیدا میکند. یک جمله مشاهدهشده، اطلاعات خود را بهصورت شعاعی به پیرامون میگستراند و بر تخمین مدل برای طیف وسیعی از جملاتی که هرگز مستقیماً در کپسول آموزشی وجود نداشتهاند، اثر میگذارد.
یادگیری همزمانِ بردارها و احتمالات
یکی از ویژگیهای شگفتانگیز این معماری شبکه عصبی، یادگیری همزمان دو عنصر حیاتی است:
- اختصاص یک بازنمایی توزیعشده به هر کلمه در دایره واژگان.
- تابع احتمال توالی کلمات که مستقیماً بر پایه همان بازنماییهای برداری تعریف و محاسبه میشود.
این فرآیند یادگیری مشترک (Joint Learning) بازنماییها را از پیش محاسبه نمیکند، بلکه آنها را همگام با تابع احتمال بهینهسازی مینماید. چنین سازوکاری، نقطه عظیمی در گذار از مدلهای آماری صرف به سمت شبکههای عصبی عمیق محسوب میشود و شالودهای را بنا نهاد که امروزه موتور محرک الگوریتمهای پیشرفته پردازش زبان طبیعی به شمار میرود.
