معماری ترنسفورمر؛ از مقاله انقلابی تا همگرایی عصر GPT

هشت سال معمارانِ هوش مصنوعی مدرن

در ژوئن 2017، ایزک واسوانی و همکارانش مقاله‌ای منتشر کردند که سرنوشت پردازش زبان طبیعی و به تبع آن کل حوزه هوش مصنوعی را برای همیشه عوض کرد. معماری ترنسفورمر که در این پژوهش معرفی شد، شبکه‌های عصبی بازگشتی را کنار زد و مکانیزم توجه خودنظارتی را جایگزین کرد. این تغییر بنیادین امکان موازی‌سازی کاملاً جدیدی را در مدل‌سازی توالی‌ها فراهم آورد و به سیستم‌ها اجازه داد وابستگی‌های بلندمدت داده را با دقتی بی‌سابقه یاد بگیرند. چیزی که روزگاری صرفاً برای خوشه‌بندی واژگان طراحی شده بود، امروز عمودِ ستون‌های یادگیری عمیق در بینایی ماشین، پردازش صوت، شبکه‌های مولد چندنموده و حتی بیولوژی ساختاری است. با این وجود، معماری که امروز پشت‌پشتِ مدل‌های زبانی بزرگ قرار دارد، شباهت چندانی به نسخه اولیه 2017 ندارد. تحلیل داده‌های فنی بیش از 53 مدل زبانی بزرگ در بازه 2017 تا 2025 داستانی از آزمون‌وخطاهای سریع و بی‌نظم را روایت می‌کند که در نهایت به یک همگرایی طراحی چشمگیر ختم شد. تا سال 2024، خانواده‌های مدل دیکودر-تنها با وزن‌های باز، عملاً بر یک پکیج استاندارد مشترک تثبیت شدند: نرمال‌سازی پیش‌جریان، حاشیه‌سازی‌های خانواده RoPE، شبکه‌های پیشرو خانواده GLU نظیر SwiGLU، انواع توجه با اشتراک‌گذاری کلید-مقدار و حذف کامل بایاس از لایه‌ها. تقریباً هر انتخاب اولیه 2017 به طور کامل بازنگری شد. ردیابی این مسیر نیازمند بررسی دوره‌به‌دوره است.

نقشه اولیه؛ ترنسفورمر نسخه 2017

نسخه اولیه پایه‌های سیمی معماری را ترسیم کرد که تاکنون باقی مانده‌اند: تکرار متناوب لایه‌های توجه چندوجهی و لایه‌های پیشرو که توسط جریان‌های بازگشتی به هم وصل می‌شدند. پیاده‌سازی مرجع از 6 لایه انکودر و 6 لایه دیکودر، 8 سر توجه و بعد مدل‌های 512 بهره می‌برد. انتخاب‌های اجرایی این نسخه بیشتر وارثه‌ی کارهای پیشین یا حاصل ساده‌سازی‌های مهندسی بود؛ منطقی به نظر می‌رسیدند، اما قطعا بهینه نبودند.

بلوک‌های سازنده اولیه

• کدگذاری موقعیتی: ترنسفورمرها برخلاف شبکه‌های بازگشتی، ساختار توالی ذاتی ندارند. واسوانی و تیمش اطلاعات مکانی را با توابع سینوسی ثابت تزریق می‌کردند. هر موقعیت به صورت سینوس و کسینوس تقسیم‌شده بر توان‌های 10000 کدگذاری می‌شد. این روش از نظر ریاضی زیبا بود و نیاز به پارامتر یادگیری نداشت، اما آزمایش‌های بعدی ثابت کردند که کدگذاری‌های مطلقِ قابلِ آموزش در عمل بهتر عمل می‌کنند.
• توجه خودنظارتی: هر توکن بردارهای K، Q و V تولید می‌کند. حاصل‌ضرب نقطه‌ای مقیاس‌شده‌ی Q و K وارد تابع نرمال‌کننده سافت‌مکس می‌شود تا وزن‌ها استخراج شوند و نهایتاً با V ترکیب گردند. این مکانیزم به مدل اجازه می‌دهد هر جفت توکن در یک توالی را به صورت کارآمد به یکدیگر مرتبط کند.
• نرمال‌سازی پساجریان: پیروی از سنت شبکه‌های عصبی عمیق، نرمال‌سازی پس از جمع بازگشتی اعمال می‌شد: x_{l+1} = LayerNorm(x_l + f(x_l)).
• شبکه پیشرو: یک شبکه عصبی پرساده دو لایه با تابع فعال‌سازی ReLU و گسترش 4 برابری. ورودی از ابعاد مدل تا 4d پروژکته می‌شد و سپس به ابعاد اصلی بازمی‌گشت.

این چیدمان ساده اما چابک، موازی‌سازی و مقیاس‌پذیری بی‌سابقه‌ای را ممکن ساخت. اما با رشد انفجاری پارامترها و ظهور سناریوهای پیچیده‌تر، ناکارآمدی‌های پنهانِ این معماری اولیه سریعاً مشخص شدند.

شکاف دوگانه؛ تولد BERT و GPT-1

اولین دوره نوآوری در مسیر تکامل ترنسفورمر، به بررسی ظرفیت‌های پنهان این معماری پرداخت. در سال 2018 مسیر پژوهش به دو شاخه اصلی تقسیم شد. در یک سو، تیم BERT با اصلاح بخش انکودر ترنسفورمر، پردازش متن را به صورت دوطرفه ممکن کرد. این مدل با مقیاس‌های 12 لایه و 24 لایه، الگوی پیش‌آموزش Masked Language Modeling را معرفی کرد و استانداردهای نوظهور را در آزمون‌های استاندارد پردازش زبان متحول ساخت. در سوی دیگر، GPT-1 با حذف کامل بخش انکودر و تکیه صرف بر دیکودر، مسیر دیگری را در پیش گرفت. این دو انشعاب، الفبای نسل بعدی مدل‌های زبانی را رقم زدند و نشان دادند که معماری ترنسفورمر فقط یک معماری نیست، بلکه یک بستر پویا برای آزمون ایده‌های نوین است.

همگرایی طراحی؛ استانداردهای عصر LLM

با عبور از دوره اولیه، محققان با افزایش پارامترها با چالش‌های جدی در پایداری آموزش و کارایی محاسباتی مواجه شدند. پاسخ این چالش‌ها آینه‌ای از آزمون‌وخطاهای فشرده در طول سال‌های 2020 تا 2024 بود. جایگزینی نرمال‌سازی پسا‌جریان با پیش‌جریان و استفاده از RMSNorm برای کاهش هزینه‌های محاسباتی و بهبود همگرایی، اولین گام در این همگرایی بود. برای مدیریت وابستگی‌های بلندمدت که کدگذاری‌های سینوسیِ قدیمی در آن دچار محدودیت می‌شدند، خانواده حاشیه‌سازی RoPE به عنوان استاندارد طلایی پذیرفته شد. این روش توانست باقی‌مانده‌ی وابستگی‌های نسبی توکن‌ها را حتی در طول توالی‌های بسیار طولانی حفظ کند. در بخش شبکه‌های پیشرو نیز، عملکرد تابع ReLU در عمق لایه‌ها تضعیف می‌شد. اینجاست که SwiGLU و خانواده GLU با مکانیزم دروازه‌ای وارد میدان شدند و بهبود قابل‌توجهی در قابلیت تعمیم مدل ایجاد کردند. در بخش توجه، محاسبات خودنظارتی با افزایش ابعاد مدل به گلوگاه حافظه تبدیل شده بود. استفاده از مکانیزم‌های اشتراک‌گذاری کلید-مقدار این مانع را درنوردید و بدون افت معنادار در کیفیت خروجی، سرعت محاسبات و کارایی حافظه را به شدت بهبود بخشید. به‌روزرسانی به لایه‌های بدون بایاس نیز در نهایت به دلیل هم‌راستایی بیشتر با عملیات ماتریسی بهینه در سخت‌افزارهای مدرن تثبیت شد.

چشم‌انداز آینده معماری‌های زبانی

این مسیر تکاملی ثابت کرد که معماری‌های هوش مصنوعی موجود نیستند تا برای همیشه ثابت بمانند. هر نسخه، هر بهبود زیرساختی و هر تغییر در الگوریتم‌های بهینه‌سازی، تکه‌ای از پازل است که در نهایت به الگوی بهینه می‌رسد. با توجه به سرعت ورود ترکیب‌های چندنموده و تلاش برای کاهش هزینه‌های آموزش و استنتاج در سطح تولید، نسل بعدی معماری‌ها احتمالاً بر پایه معماری‌های ترکیبی و ادغام بهینه‌ی توجه با مکانیزم‌های گذار سریع شکل خواهد گرفت. ردپای پژوهش‌های اولیه 2017 همچنان در ستون‌های این معماری‌ها زنده است، اما نحوه تعامل آن‌ها با داده‌های جدید، سبکی است که آینده‌ی صنعت هوش مصنوعی را رقم خواهد زد.