ارتقای مدلهای زبانی بزرگ (LLM) صرفاً با افزایش حجم پارامترها و دادههای آموزشی به نتیجهای دلخواه منجر نمیشود. وقتی شرکت OpenAI در اسفند ۱۴۰۰ (مارس ۲۰۲۲) مقاله خود را منتشر کرد، به یک چالش اساسی اشاره داشت: مدلهای عظیمی مانند GPT-3 با وجود توانایی خام بالا، اغلب خروجیهای سمی، نادرست یا کاملاً بیربط به نیاز کاربر تولید میکردند.
دلیل اصلی این رفتار، هدفگذاری اولیه در فرایند آموزش بود. GPT-3 برای پیشبینی کلمه بعدی بر اساس دیتابیس عظیمی از متون اینترنتی آموزش دیده بود تا کارکرد اصلی آن صرفاً «ادامه دادن متن» باشد.
شکاف رفتاری مدلهای پایه
یک مدل پایه قدرتمند مانند Llama 3.1 405B را در نظر بگیرید. اگر به این هوش مصنوعی پرامپت «رئیسجمهور ایالات متحده در سال 2006 ... بود» را بدهید، صرفاً نام جورج بوش را بیان نمیکند، بلکه شروع به پرگویی و تداعی مفاهیم نامرتبط مانند جب بوش، قوانین مهاجرتی و حتی نکات بیربطی درباره روزهای هفته در سال 2009 میکند. مدل پایه در واقع پاسخی به سوال نمیدهد، بلکه صرفاً الگوی آماری متون را گسترش میدهد.
این خلاء دقیقاً جایی است که تکنیک یادگیری تقویتی از بازخورد انسانی (RLHF) به میدان میآید تا رفتار مدل را با نیت واقعی کاربر همسوسازی (Alignment) کند.
خط لوله RLHF چگونه کار میکند؟
تکنیک RLHF اطلاعات و ارزشهای انسانی را مستقیماً در سیستمهای هوش مصنوعی ادغام میکند. این روش در ابتدا برای حل مسائل پیچیده کنترلی طراحی شده بود، اما امروز به ستون فقرات توسعه چتباتهای پیشرفته و مدلهای بنیادی تبدیل شده است.
فرایند پایه این الگوریتم شامل سه گام اساسی است:
- ریزتنظیم نظارتشده (Supervised Fine-Tuning): آموزش اولیه مدل برای پیروی از دستورالعملهای کاربر.
- گردآوری دادههای ترجیحی: استفاده از بازخوردهای انسانی برای ساخت یک مدل پاداش (Reward Model).
- بهینهسازی نهایی مدل: تنظیم مدل زبانی با استفاده از الگوریتمهای یادگیری تقویتی بر اساس امتیازات مدل پاداش.
فرایند آموزش InstructGPT با مشارکت انسان
OpenAI برای ساخت مدل InstructGPT از همین چارچوب سه مرحلهای استفاده کرد تا به مدل هوش مصنوعی بیاموزد که چگونه دقیقاً به دستورات کاربر گوش دهد.
گام اول: یادگیری از روی نمونههای ایدهآل
تیم تحقیقاتی مجموعهای از پرامپتهای واقعی کاربران را جمعآوری کرد و از برچسبگذاران انسانی خواست تا بهترین و ایمنترین پاسخهای ممکن را برای آنها بنویسند. این دادههای نمایشی بهعنوان یک راهنمای اولیه، ساختار کلی GPT-3 را تغییر داد تا مسیر خود را به سوی پاسخگویی به دستورات پیدا کند.
گام دوم: ساخت مدل پاداش بر اساس رتبهبندی
در این مرحله، مدل به چندین پرامپت جدید پاسخ داد و برچسبگذاران انسانی وظیفه پیدا کردند تا بین خروجیهای تولیدشده رتبهبندی انجام دهند. آنها مشخص کردند کدام پاسخ طبیعیتر، مفیدتر و دقیقتر است. سپس از این دادههای مقایسهای برای تربیت یک مدل پاداش (Reward Model) استفاده شد؛ یک سیستم داور که توانایی تشخیص کیفیت و ترجیحات انسانی را پیدا کرد.
گام سوم: بهینهسازی سیاست با PPO
در نهایت، مدل پاداش بهعنوان یک تابع ارزیاب وارد چرخه نهایی شد تا سیاست (Policy) مدل GPT-3 را با استفاده از الگوریتم بهینهسازی مجاورت سیاست (PPO) بهینهسازی کند. در این چرخه، هوش مصنوعی مدام تلاش کرد تا پاسخهایی تولید کند که بتواند بالاترین امتیاز را از مدل پاداش بگیرد.
فناوریهای همسوسازی مبتنی بر بازخورد انسانی مسیر توسعه هوش مصنوعی را برای همیشه تغییر دادند. با ورود نسلهای جدیدتر پردازشگرها و مدلهای چندوجهی، چالش اصلی آینده، یافتن روشهایی خودکار برای اعتبارسنجی پاداشها بدون نیاز به دخکت مستمر انسانی است تا سرعت توسعه تحت تاثیر محدودیتهای منابع انسانی قرار نگیرد.
