در سال ۲۰۱۷، تیمی از پژوهشگران آزمایشگاه گوگل برین مقالهای با عنوان جسورانه «توجه تمام چیزی است که نیاز دارید» منتشر کردند. این پرونده علمی، معماری Transformer را به جهان معرفی کرد؛ طراحی مهندسیشدهای که شبکههای عصبی بازگشتی (RNN) را بهعنوان رویکرد غالب مدلسازی توالی در پردازش زبان طبیعی (NLP) کنار زد و به زیربنای تمام سامانههای پیشرفته هوش مصنوعی امروزی تبدیل شد.
محدودیتهای شبکههای عصبی پیشین
پیش از معرفی این معماری، مدلهای توالی دادهها را دقیقاً مانند انسانی که جملات را میخواند، تجزیه و تحلیل میکردند: تکتک عناصر بهصورت خطی. شبکههای بازگشتی، توکنها را گامبهگام پردازش کرده و با ورود هر داده جدید، یک حالت پنهان را بهروزرسانی میکردند. این ساختار ترتیبی، آموزش را بهشدت کُند کرده و موازیسازی محاسبات را غیرممکن میکرد. این سیستمها همچنین درگیر پدیده محوشدن گرادیان (Vanishing Gradient) بودند که توانایی آنها را در درک وابستگیهای مفهومیِ دوربرد در متنهای طولانی از بین میبرد.
از سوی دیگر، شبکههای عصبی پیچشی (CNN) که برای پردازش متن در مدلهایی نظیر ByteNet سازگار شده بودند، نیازمند لایههای بسیار عمیقی برای تشخیص ارتباط کلمات دور از هم بودند و بازدهی بالایی نداشتند.
پیدایش مکانیزم خودتوجهی (Self-Attention)
ترنسفورمر ساختارهای پیچشی و بازگشتی را بهطور کامل دور ریخت و سازوکاری به نام خودتوجهی را جایگزین کرد. این مکانیزم به هر توکن در یک متن اجازه میدهد بدون توجه به فاصله فیزیکی، با تمام توکنهای دیگر ارتباط برقرار کرده و وزن آنها را بسنجد. پردازش همزمان و موازی تمام دادهها بهجای رویکرد تکبهتک، سرعت آموزش را سرسامآور کرد. همین تغییر پارادایم، امکان آموزش مدلهای عظیمی با میلیاردها پارامتر را فراهم آورد که در نهایت به ظهور مدلهای زبانی بزرگ (LLM) نظیر ChatGPT، Claude و Gemini ختم شد.
کالبدشکافی عملی این معماری به مهندسان کمک میکند تا منطق رفتاری چتباتها را پیشبینی کنند؛ از اهمیت طول زمینه (Context) تا محاسبه هزینههای پنهان بر اساس تعداد توکنها.
تحلیل موانع پیشین پردازش زبان طبیعی
برای درک گستردگی این دستاورد، باید نگاهی به روشهای تاریخی تبدیل کلمات به زبان ماشین (بردارسازی) بیندازیم. در روشهای اولیه مانند کدگذاری One-Hot یا مدل TF-IDF، کلمات صرفاً بر اساس تکرار و موقعیت ارزیابی میشدند. در این شرایط، واژه «سیب» در عبارت «پای سیب» دقیقاً همان کد باینری را داشت که در نام برند «اپل سیور» (Apple Store).
جاسازی واژگان (Word Embeddings) با معرفی بردارهای معنایی، انقلاب کوچکی بهپا کرد؛ بهطوریکه مدل میتوانست شباهت مفهومی «شاه» و «ملکه» را درک کند. با این وجود، این بردارها کاملاً ایستا (Static) بودند. کلمه چندمعنایی مانند «سبک» (Light) چه در عبارت «سبکبال» و چه در منظور «روشنایی»، دقیقاً یک ساختار ریاضی دریافت میکرد.
مکانیزم خودتوجهی این گره را با تولید بردارهای زمینهمند (Contextual Embeddings) گشود. بازنمایی هر کلمه بهصورت پویا بر اساس محتوای پیرامونی شکل میگیرد. معنای هر توکن با ارزیابی دقیق اهمیت تمام کلمات موجود در جمله محاسبه میشود و این امر به مدلهای هوش مصنوعی امکان درک ظرایف کلامی را میدهد.
ساختار رمزگذار و رمزگشا
نسخه اولیه معماری ترنسفورمر شامل دو بازوی اصلی بود:
- رمزگذار (Encoder): وظیفه خواندن متن ورودی، استخراج ویژگیها و ساخت بازنماییهای کاملاً زمینهمند را بر عهده دارد.
- رمزگشا (Decoder): با تکیه بر دادههای دریافتشده از رمزگذار و خروجیهای پیشین خود، توکنهای جدید را یکییکی تولید میکند.
این ساختار دوقلو (Encoder-Decoder) در ابتدا برای وظایف تبدیل توالی به توالی (Sequence-to-Sequence) مانند خدمات ترجمه ماشینی طراحی شد. بهعنوان مثال، رمزگذار متن فرانسوی را تحلیل کرده و رمزگشا معادل انگلیسی آن را تولید میکرد.
توسعهدهندگان امروزی از این معماری بهصورت سلیقهای استفاده میکنند. خانواده مدلهای مبتنی بر GPT صرفاً از پشته رمزگشاها بهره میبرند، در حالی که مدلهای مقصدگیری شده برای درک دقیقتر متن، تمرکز خود را بر روی بخش رمزگذار گذاشتهاند. تکامل این مکانیزمها نشان میدهد که چگونه فهم ریاضیاتی از زبان انسانی میتواند مرزهای خلاقیت ماشین را جابهجا کند و پلتفرمهایی بسازد که اکنون پایههای اقتصاد دیجیتال را شکل میدهند.
