شکستن انحصار بودجههای کلان در ساخت مدلهای هوشمند
در مارس 2023، محققان آزمایشگاه Tatsu دانشگاه استنفورد معادلهای را در دنیای هوش مصنوعی متنباز تغییر دادند. آنها نشان دادند که با هزینهای کمتر از 600 دلار میتوان مدلِ پایهٔ LLaMA 7B را به یک دستیار هوشمند تبدیل کرد که رفتار آن در ارزیابیهای اولیه، شباهت شگفتانگیزی به مدل text-davinci-003 شرکت OpenAI دارد. این دستاورد ثابت کرد که ساخت مدلهای زبانی پیشرفته دیگر نیازمند بودجههای کلان شرکتی یا فرایندهای حاشیهنویسی پیچیدهٔ انسانی نیست.
تا اوایل سال 2023، مدلهای زبانی بزرگ همچون GPT-3.5 و ChatGPT بهطور گسترده در حال استفاده بودند. با وجود محبوبیت بالا، این سیستمها همچنان با خطاهای اطلاعاتی، سوگیریهای اجتماعی و تولید محتوای نامناسب دستوپنجه نرم میکردند. محققان دانشگاهی معتقد بودند برای حل این چالشها به مدلهای باز و قابلدسترس نیاز است، اما تا پیش از Alpaca هیچ پلتفرم عمومیای از نظر کارایی به رقبای تجاری نزدیک نبود. فرایند آموزش مدلهای زبانی بهگونهای که دستورات انسانی را دقیق اجرا کنند، معمولاً وابسته به مجموعهدادههای اختصاصی و روشهای پیچیده بود. جزئیات این فرایند سالها پشت دیوارهای بستهٔ شرکتهای فناوری باقی ماند و پژوهشگران را با دادههای پایه اما فاقد قابلیت مکالمه مواجه کرد.
چرایی شکلگیری پروژه: شکاف دسترسی آکادمیک
طبق گزارشهای منتشرشده از گروه CRFM دانشگاه استنفورد، آموزش یک مدل پیرویکننده از دستور و باکیفیت در محدودهٔ بودجهٔ دانشگاهی با دو چالش اساسی مواجه است:
- مدل زبانی از پیشآموزشدیدهٔ قدرتمند: رکن اول با انتشار مدلهای LLaMA از سوی متا برطرف شد.
- دادههای آموزشی باکیفیت برای پیروی از دستور: رکن دوم که معمولاً گرانترین بخش ماجرا بود. مقالهٔ «Self‑Instruct» پیشنهاد داد که میتوان از خود مدلهای قدرتمند موجود برای تولید خودکار دادههای دستوری استفاده کرد.
تیم Alpaca با ترکیب همین دو مؤلفه، خطمشی جدیدی تعریف کرد. استفاده از LLaMA 7B بهعنوان هستهٔ اصلی و تولید اولیهٔ دادههای آموزشی بهصورت مصنوعی روی مدلهای موجود، مسیر را هموار کرد.
روششناسی ساده اما کارآمد
ایدهٔ اصلی پروژه این بود که پیچیدگیهای غیرضروری حذف شوند. برخلاف روشهای پرهزینهتر مانند یادگیری تقویتی از بازخورد انسانی و روشهای مبتنی بر چرخههای بازخوردی که نیازمند زیرساختهای عظیم و تکرارپذیریهای انسانی بودند، Alpaca رویکردی مستقیمتر اتخاذ کرد. آنها آموزش مدل را به یک وظیفهٔ سادهٔ نظارتشده تبدیل کردند؛ در این رویکرد، مدل صرفاً آموزش میبیند که با دریافت یک دستور و یک ورودی اختیاری، پاسخ بعدی را پیشبینی کند. این تغییر پارادایم موانع فنی و مالی را کاهش داد.
تولید داده با هوش مصنوعی بهجای انسان
قلب تپندهٔ این پروژه، خطِ لولهٔ تولیدِ 52٬000 نمونهٔ آموزشی بود. محققان کار خود را با 175 جفت دستور و پاسخِ دستی آغاز کردند. سپس این نمونهها را بهعنوان مثالهای زمینهای در اختیار text-davinci-003 قرار دادند تا سیستم، دستورهای جدید و پاسخهای مرتبط را بهصورت خودکار تولید کند. کل این فرایند تولید داده با هزینهای کمتر از 500 دلار انجام شد. مدل text-davinci-003 بهعنوان یک مولد ایده عمل کرد و دامنهٔ کاربرد پروژه را بهسرعت گسترش داد.
ارزیابیهای اولیهٔ انسانی روی مجموعهٔ استاندارد «Self‑Instruct» نشان داد که مدل Alpaca 7B رفتاری قابلمقایسه با مدلهای تجاریِ قدیمیتر شرکت OpenAI از خود نشان میدهد. این نتایج با توجه به حجم نسبتاً کمِ دادههای آموزشی و اندازهٔ نسبتاً کوچکِ مدل، مورد تحسین جامعهٔ فنی قرار گرفت.
پیامد پروژه برای آیندهٔ هوش مصنوعی
پروژهٔ Alpaca مسیر را برای توسعهٔ مدلهای زبانی باز و قابلدسترس هموار کرد. وقتی آموزشِ سفارشی دیگر به کیمیاگری یا بودجههای نجومی نیاز ندارد، توسعهدهندگان و پژوهشگران سراسر جهان میتوانند با سرعت بیشتری ایدههای خود را آزمایش کنند. ظهور این رویکرد ساده فصل جدیدی در دموکراتیزهکردنِ هوش مصنوعی رقم زد و آیندهای را ترسیم کرد که در آن مدلهای زبانی پیشرفته دیگر محدود به آزمایشگاههای غولهای فناوری نیستند و جامعهٔ متنباز میتواند قلههای جدیدی را فتح کند.
