تفاوت بنیادین مدلهای زبانی همچون BERT و GPT تنها به مقیاس یا نامگذاری تجاری آنها بازنمیگردد؛ ریشه این تفاوت در معماری زیربنایی آنهاست. پس از انتشار مقاله جریانساز «Attention Is All You Need» در سال 2017، طراحی ترنسفورمر (Transformer) به شاخههای کاملاً متمایزی تقسیم شد. امروزه مدلهای کامل رمزگذار-رمزگشا (Encoder-Decoder)، مدلهای صرفاً رمزگذار (Encoder-only) و مدلهای صرفاً رمزگشا (Decoder-only) هر کدام برای تسکهای مشخصی بهینهسازی میشوند. شناخت دقیق این ساختارها برای توسعه و پیادهسازی سیستمهای هوش مصنوعی امری حیاتی است.
خاستگاه ترنسفورمرها و تحول در ترجمه ماشینی
نسخه اولیه ترنسفورمر صرفاً یک مدل رمزگذار-رمزگشا بود که برای تسکهای دنبالهبهدنباله (seq2seq) مانند ترجمه ماشینی طراحی شده بود. فلسفه پشت این طراحی، تقسیم کاری بسیار دقیق میان دو بخش بود:
- رمزگذار (Encoder): متن خام ورودی را میخواند و آن را به بازنمایی عمیق و آگاه از بافت (Context) تبدیل میکند.
- رمزگشا (Decoder): از این بازنمایی برای تولید دنباله خروجی استفاده میکند و متن را توکنبهتوکن میسازد.
عملکرد فوقالعاده این معماری باعث شد تا بعدها هر بخش به صورت یک مدل مستقل توسعه یابد.
درونمایۀ معماری رمزگذار-رمزگشا
وظیفه رمزگذار در درک بافت
رمزگذار جمله ورودی را دریافت و آن را در قالب یک ساختار بافتمحور پردازش میکند. این بخش از چندین لایه تشکیل شده که هر کدام شامل زیرلایههای «خودتوجهی» (Self-attention) و «پیشخور» (Feed-forward) هستند. ویژگی بارز رمزگذار، نگاه دوسویه (Bidirectional) آن است. به عنوان مثال، در جمله «سگ گربه را تعقیب کرد چون ترسیده بود»، مکانیزم خودتوجهی به راحتی درمییابد که واژه «ترسیده بود» به گربه اشاره دارد. این قدرت تحلیل عمیق، مزیت اصلی رمزگذارها در درک زبان است.
وظیفه رمزگشا در تولید متن
رمزگشا ساختاری شبیه به رمزگذار دارد اما هر لایه آن از سه زیربخش تشکیل شده است:
- خودتوجهی ماسکگذاریشده: (Masked/Causal Self-attention) جلوی دیدن توکنهای آینده را میگیرد.
- توجه متقابل: (Cross-attention) اطلاعات حاصل از رمزگذار را با دنباله فعلی ترکیب میکند.
- پیشخور: پردازش نهایی برای تولید خروجی.
زیرلایه توجه متقابل دقیقاً همان بخشی است که رمزگشا را به رمزگذار متصل میکند تا کلمات ترجمهشده را با متن مبدأ همتراز کند. در اینجا کل متن ورودی ابتدا توسط رمزگذار پردازش میشود و سپس نوبت به تولید خروجی توسط رمزگشا میرسد.
ریاضیات مکانیزم توجه و ماسکگذاری
ترنسفورمرها بر پایه مکانیزم توجه (Attention) استوارند. در این فرآیند، خروجی برابر با مجموع وزندار دنباله مقدار (Value) است. وزنها نیز از طریق اعمال پرسوجو (Query) بر دنباله کلید (Key) محاسبه میشوند. خروجی این محاسبات، ماتریسی است که امتیاز توجه میان عناصر مختلف را مشخص میکند.
در مدلهای صرفاً رمزگشا (Decoder-only)، از ماسکگذاری علی (Causal Masking) استفاده میشود تا مدل نتواند توکنهای بعدی را ببیند و صرفاً بر اساس کلمات قبلی، کلمه بعدی را پیشبینی کند. این دقیقاً همان تکنیکای است که به مدلهای تولیدی قدرت نوشتن متون جدید را میدهد.
مدلهای صرفاً رمزگشا چگونه کار میکنند؟
مدلهایی مانند خانواده GPT، بخش رمزگذار را به طور کامل حذف کردند و تمام تمرکز خود را روی رمزگشا گذاشتند. در این معماری، مدل متن ورودی کاربر را مانند یک دنباله در حال تولد میبیند و آن را توکنبهتوکن و به صورت خودبازگشتی (Autoregressive) گسترش میدهد. انعطافپذیری بالا در تولید متن و مدیریت بهینهتر منابع محاسباتی در طول آموزش، باعث شد تا مدلهای Decoder-only در صنعت هوش مصنوعی مولد به تسلط برسند.
کدام معماری برای چه تسکهایی مناسب است؟
انتخاب بین این دو معماری کاملاً به هدف نهایی پروژه بستگی دارد:
- مدلهای صرفاً رمزگذار (مثل BERT): بهترین گزینه برای دستهبندی متن، تحلیل احساسات، استخراج اطلاعات و درک معنای کلمات در یک جمله کامل هستند.
- مدلهای صرفاً رمزگشا (مثل GPT): پادشاهان بلامنازع تولید متن، گفتگوی آزاد، خلاصهسازی و کدنویسی به شمار میروند.
- مدلهای رمزگذار-رمزگشا (مثل T5): زمانی که تسک نیازمند تبدیل ساختاریافته متن مبدأ به متن مقصد است (مانند ترجمه دقیق از یک زبان به زبان دیگر)، همچنان بهترین کارایی را ارائه میدهند.
با پیشرفت خیرهکننده مدلهای زبانی بزرگ، مرز بین این معماریها در حال محو شدن است، اما درک این تفاوتهای پایهای، کلید ساخت سیستمهای هوشمند و کارآمد در آینده خواهد بود.
