معماری GPT-3.5 و چارچوب ترنسفورمر

انتشار ChatGPT در نوامبر 2022 تنها معرفی یک رابط کاربری جدید نبود؛ بلکه زنگ هشدار تحولی در مهندسی زبان طبیعی شد. کمتر از چند هفته، این پلتفرم از مرز 1 میلیون کاربر پیشی گرفت و پرسش‌های بنیادینی را درباره مرزهای هوش مصنوعی مولد مطرح کرد. موفقیت خیره‌کننده ChatGPT تصادفی نیست. در لایه‌های زیرین این سیستم، پیکربندی دقیق معماری GPT-3.5 و یک چرخه آموزش سه‌مرحله‌ای مهندسی‌شده قرار دارد که رفتار مدل را از تولیدگر متن به دستیار تعاملی ارتقا داده است.

تکامل خانواده GPT و جایگاه مدل فعلی

مسیر رشد این مدل‌ها از نسخه‌های اولیه تا امروز نشان‌دهنده حرکت سریع به سمت کیفیت بالاتر است.

  • GPT-1 (2018): آزمایشی با 117 میلیون پارامتر که پتانسیل ترنسفورمرها را در پردازش زبان نشان داد، اما در تولید متن‌های طولانی دچار ناهماهنگی می‌شد.
  • GPT-2 (2019): افزایش پارامترها به 1.5 میلیارد و آموزش بر روی داده‌های وب، انسجام متنی را به شکل چشمگیری بهبود بخشید.
  • GPT-3 (2020): جهش به 175 میلیارد پارامتر. این نسخه توانایی‌های Few-shot و Zero-shot را به نمایش گذاشت و مرزهای تولید متن را جابجا کرد.
  • GPT-3.5: نسخه نهایی و بهینه‌شده برای چت‌بات‌ها. در این مرحله، تمرکز از صرف پیش‌بینی کلمه به بهینه‌سازی پاسخ‌های ایمن، سازگار و مفید تغییر کرد. مدل با استفاده از داده‌های گفتگومحور تنظیم دقیق شد تا تعاملات روزمره را بهتر شبیه‌سازی کند.

آناتومی داخلی و نحوه پردازش متن

در مرکز هر لایه ترنسفورمر، دو قطعه اصلی فعالیت می‌کنند. مکانیسم خود-توجهی چندسَری به مدل اجازه می‌دهد به جای خواندن خط به خط، تمام کلمات جمله را همزمان ببیند و روابط معنایی میان آن‌ها را وزن‌دهی کند. پس از استخراج ویژگی‌ها، شبکه عصبی پیش‌خور تبدیل‌های غیرخطی را اعمال کرده تا بازنمایی نهایی هر توکن پالایش شود. از آنجا که ترنسفورمرها موقعیت کلمات را به خودی خود نمی‌فهمند، یک لایه رمزگذاری موقعیتی به ورودی اضافه می‌شود تا ترتیب کلمات در توالی حفظ گردد. متن ورودی ابتدا به توکن‌های کوچک‌تر تجزیه شده، سپس به بردارهای اعداد (Embeddings) تبدیل می‌شود تا پردازش ریاضی امکان‌پذیر گردد.

نمای شماتیک معماری شبکه عصبی ترنسفورمر در مدل‌های زبانی بزرگ

خط لوله آموزش با بازخورد انسانی (RLHF)

معماری قدرتمند به تنهایی چت‌بات را انسانی‌تر نمی‌کند. آن چیزی که گفتگوهای ChatGPT را از پاسخ‌های مکانیکی متفاوت می‌سازد، یک خط لوله آموزش پیشرفته است که بر پایه تعامل انسان و ماشین استوار است و در ادبیات فنی به عنوان RLHF شناخته می‌شود. این فرآیند مهندسی‌شده سه مرحله کلیدی دارد:

  1. تنظیم دقیق نظارت‌شده (SFT): در گام اول، مدل با هزاران نمونه سوال و پاسخ انسانی که توسط متخصصان نوشته شده، تنظیم دقیق می‌شود. این کار به مدل می‌آموزد که چگونه به جای تکمیل خودسرانه متن، به سوالات پاسخ دهد و دستورالعمل‌های کاربر را دنبال کند.
  2. مدل پاداش (Reward Model): در این مرحله، صدها پاسخ مختلف از مدل خروجی گرفته می‌شود و داوران انسانی کیفیت آن‌ها را رتبه‌بندی می‌کنند. یک شبکه عصبی جداگانه روی این داده‌ها آموزش می‌بیند تا یاد بگیرد کدام پاسخ‌ها از نظر صداقت، رعایت اصول اخلاقی و دقت برتر هستند.
  3. یادگیری تقویتی (PPO/RL): حالا مدل با استفاده از الگوریتم‌های بهینه‌سازی مانند Proximal Policy Optimization، سعی می‌کند با تست سناریوهای جدید، پاداش حداکثری را از مدل پاداش دریافت کند. اگر پاسخی طبق معیارهای آموزشی باشد، تقویت می‌شود و اگر از استانداردها فاصله بگیرد، تعدیل می‌گردد. این چرخه باعث می‌شود مدل دست از تولید پاسخ‌های طولانی و نامرتبط بردارد و روی سادگی و کارایی تمرکز کند.

محدودیت‌ها و افق پیش‌رو

با وجود این پیشرفت‌های مهندسی، مدل‌های مبتنی بر GPT-3.5 همچنان با چالش‌هایی نظیر توهم‌های دیجیتال، محدودیت حافظه کوتاه‌مدت در مکالمات طولانی و عدم دسترسی مستقیم به اینترنت زنده دست و پنجه نرم می‌کنند. پلتفرم‌های نسل جدید با ادغام جستجوی وب پایدار، دسترسی به فایل‌های آپلودی و بهبود حافظه زمینه‌ای، در حال پوشش این شکاف‌ها هستند. آینده مدل‌های زبانی به سمت معماری‌های ترکیبی‌تر، کاهش هزینه‌های محاسباتی و تعاملات چندرسانه‌ای در حرکت است و انتظار می‌رود در سال‌های پیش رو، مرز میان پردازش متن و درک عمیق مفاهیم به شکلی بنیادین جابجا شود.