در فوریه 2019، انتشار مقاله «مدلهای زبانی، یادگیرندگان چندوظیفهایِ بدون نظارت هستند» توسط OpenAI صنعت هوش مصنوعی را متحول کرد. نقطه عطف این انتشار، یک معماری ترنسفورمر با 1.5 میلیارد پارامتر بود که تنها بر پایه پیشبینی توکن بعدی آموزش دیده بود و در حالت صفر-شات موفق شد در 7 از 8 مجموعهداده زبانی به نتایج پیشرو دست یابد. این دستاورد بدون انجام حتی یک بار بهروزرسانی گرادیان برای تکالیف خاص، نشان داد که مقیاس و داده میتوانند ماهیت یادگیری ماشین را دگرگون کنند.
گذار از تنظیم دقیق به استدلال صفر-شاتی
تفاوت بنیادین GPT-2 با نسل قبلی خود، ارائه یک فرمول آموزشی نوین نبود، بلکه بازتعریف نقش یک مدل زبانی محسوب میشد. در معماری GPT-1، مدلها پس از یک دوره پیشآموزش، نیاز به تنظیم دقیق نظارتشده داشتند. این فرآیند مستلزم افزودن لایههای برداری خطی مخصوص هر تکلیف، استفاده از توکنهای ساختاری خاص و حفظ یک تابع زیان جانبی برای جلوگیری از فراموشی فاجعهبار وظایف اصلی بود.
تیم OpenAI تمام این محدودیتها را کنار گذاشت و بر این اصل تکیه کرد که هر مسئلهای قابل توصیف به زبان طبیعی است. به جای آنکه مدل را برای تکلیفی خاص آموزش مجدد دهند، کافی بود دستورالعمل آن را در ورودی بنویسند تا مدل از طریق مدلهای زبانی و ویژگیهای نوظهور ترنسفورمر، پاسخ را استخراج کند.
| ویژگی | GPT-1 (تنظیم دقیق) | GPT-2 (صفر-شات) |
|---|---|---|
| هدف اصلی | مدلسازی زبان + تابع زیان تکلیف | صرفاً مدلسازی زبان |
| نحوه تطبیق | آپدیت وزنها برای هر داده | پرامپتنویسی در توالی ورودی |
| لایه خروجی | خطی و اختصاصی | یکپارچه و مبتنی بر LM |
در این رویکرد جدید، خط لوله استنتاج، توکنهای دستوری و لایههای طبقهبندی اضافی را حذف میکند و مستقیماً به پروازگاه مدلسازی زبان توکن بعدی را نسبت میدهد.
معماری فنی و پایداری در مقیاس بزرگ
حفظ توپولوژی Decoder-only ترنسفورمر، نقطه شروع بود، اما بازنگری در المانهای ریاضی و سلسلهمراتب برای ثبات مدل در ابعاد 1.5 میلیارد پارامتر حیاتی بود.
تغییرات کلیدی شامل موارد زیر بود:
- جایگذاری پیشنرمالسازی (Pre-LN): انتقال عملیات نرمالسازی لایه به ورودی هر زیربلاک، مشابه شبکههای باقیمانده پیشفعال، به همراه یک لایه نرمالسازی اضافی در انتهای بلوک توجه خودکار.
- مقداردهی اولیه بهینه: اعمال ضریب مقیاس روی وزنهای لایههای باقیمانده برای همگرایی پایدارتر در آموزش.
- واژگان بایت-پیر (BPE): ارتقای دیکشنری به 50,257 واژه که نادرستیهای مربوط به کلمات ناشناخته را به حداقل رساند.
- پنجره زمینه: گسترش حافظه کوتاهمدت مدل از 512 به 1024 توکن، که امکان درک بافت پیچیدهتر جملات را فراهم کرد.
استفاده از ماسک علی در تمام مراحل آموزش تضمین میکند که پیشبینی هر موقعیت تنها به توکنهای گذشته وابسته باشد و ساختار جهتدار پردازش زبان طبیعی عیان بماند.
خانواده چهارگانه مدلها و درسهای استراتژیک
گپتی-۲ یک محصول تکبعدی نبود، بلکه یک خانواده چهارگانه از مدلها بود که به جامعه علمی این امکان را داد تا جدا کردن تأثیر حجم داده و پارامترها بدون تغییر در معماری را تجربه کنند. این استانداردسازی، الگویی شد که بعداً در انتشار نسخههای بعدی و سریهای مشابه نیز تکرار گردید.
| سایز مدل | لایههای ترنسفورمر | سرهای توجه | پارامترها |
|---|---|---|---|
| Small | 12 | 12 | حدود 117 میلیون |
| Medium | 24 | 16 | حدود 345 میلیون |
| Large | 36 | 20 | حدود 762 میلیون |
| XL | 48 | 25 | حدود 1.5 میلیارد |
نسخه پرچمدار با 48 طبقه و 1600 یال پنهان، تعادل دقیقی بین توانایی استدلال زبانی و هزینه محاسباتی ایجاد کرد. اما داستان این پروژه فقط در اعداد خلاصه نمیشود. استراتژی انتشار مرحلهای برای این مدل، یکی از بحثبرانگیزترین تصمیمهای صنعت تکنولوژی بود. به نمایش گذاشتن نسخههای کوچکتر در ابتدا، آسیبپذیریهای امنیتی و سوگیریهای ناخواسته مدل را آشکار کرد. این تجربه مستقیماً باعث شد تیمهای تحقیقاتی درک کنند که تواناییهای صفر-شات وقتی مقیاس پیدا میشوند، مرزهای میان یادگیری نظارتناپذیر و استدلال معنایی را محو میکنند.
امروزه وقتی نگاهی به اکوسیستم ابزارهای مولد میاندازیم، ردپای معماری صفر-شات را در هر سیستمی که بدون آموزش تکلیفی به دستورات پیچیده پاسخ میدهد، به وضوح میبینیم. این مدل نه تنها استانداردهای پردازش زبان طبیعی را جابجا کرد، بلکه مسیر رسیدن به هوش مصنوعی همهمنظوره امروزی را هموار ساخت و نشان داد که چگونه یک هدف آموزشی ساده، میتواند پنجرهای به سوی استدلال ماشینی باز کند.
