تحوّل در مرزهای هوشِ مصنوعیِ باز

متا با انتشارِ خانوادهٔ مدل‌هایِ ال‌لاما ۳.۱ در تابستانِ ۲۰۲۴، تعادلاتِ رقابتی میانِ سیستم‌هایِ بسته و متن‌باز را برای همیشه جابه‌جا کرد. محرکِ این تغییر، مدلِ Meta Llama 3.1 ۴۰۵ میلیاردِ پارامتری است که با ۴۰۵ میلیارد پارامتر، نخستینِ سیستمِ باز در سطحِ پیشرو (Frontier) محسوب می‌شود. این غولِ زبانی که براساسِ مستنداتِ رسمیِ متا توسعه یافته، تنها یک به‌روزرسانیِ نرم‌افزاری نیست؛ بلکه پاسخی مستقیم و قدرتمند به انحصارطلبیِ پلتفرم‌هایِ تجاری همچون GPT‑4o و Claude است.

نمایش نمادین از معماری و پارامترهای مدل ال‌لاما ۳.۱ متا

مسیرِ تکامل و پر کردنِ شکاف‌هایِ فنی

سلسلهٔ ال‌لاما از سالِ ۲۰۲۳ مسیرِ توسعهٔ خود را آغاز کرد. نسل‌هایِ پیشین، با وجودِ عملکردِ بالا، با محدودیت‌هایی در طولِ حافظهٔ همیار و پشتیبانی از زبان‌هایِ خارجی مواجه بودند. نسخهٔ ۳.۱ بسیاری از این شکاف‌ها را پر می‌کند. متا سه اندازهٔ ۸، ۷۰ و ۴۰۵ میلیاردِ پارامتری را روانهٔ بازار کرد تا با شعارِ «دسترسیِ جهانی به هوشِ مصنوعی» دموکراسیِ توسعهٔ مدل‌هایِ زبانی را عملاً اجرایی کند.

عملکرد در بنچمارک‌ها؛ رقابت با برترین‌هایِ بسته

در آزمون‌هایِ استانداردِ عملکرد، این مدل با نمراتی شگفت‌انگیز واردِ لیگِ برتر شده است. نتایجِ منتشرشده نشان می‌دهد مدل دقیقاً در قلمروِ سیستم‌هایِ تجاری قرار می‌گیرد:

  • MMLU (درکِ چندوظیفه‌ایِ زبان): ۸۸٫۶٪ (هم‌تراز با GPT‑4o)
  • GPQA (پاسخ به پرسش‌هایِ تحصیلاتِ تکمیلی): ۵۱٫۱٪
  • HumanEval (وظایفِ برنامه‌نویسی): ۷۴٫۳٪
  • MATH (استدلالِ ریاضی): ۶۸٫۰٪

این دستاوردها نتیجهٔ آموزشِ اولیه بر رویِ ۱٫۲ تریلیونِ توکن و بهینه‌سازیِ چندهدفه با یادگیریِ تقویتی از بازخوردِ انسان است. فراتر از پردازشِ متن، قابلیتِ فراخوانیِ ابزار و درکِ تصویر نیز به مدل افزوده شده که پاسخ به پرسش‌هایِ بصری را به سطحِ برترینِ سیستم‌هایِ تجاری نزدیک کرده است.

ظرفیتِ حافظه و چابکیِ زبانی

دو ویژگیِ کاربردیِ دیگر، جهشِ چشمگیر در حافظه و گسترشِ دامنهٔ زبانی هستند. پنجرهٔ context از ۸ هزار به ۱۲۸ هزار توکن ارتقا یافته؛ تغییری ۱۶ برابری که تحلیلِ اسنادِ حجیم، کدهایِ تکمیلی و مکالماتِ طولانی‌مدت را بی‌سابقه می‌کند. در بخشِ زبانی، پشتیبانیِ بومی از ده زبان از جملهِ انگلیسی، فرانسوی، آلمانی، اسپانیایی، پرتغالی، ایتالیایی، تایلندی، اندونزیایی، هندی و ویتنامی، کاربردِ جهانیِ این پیکربندی را برایِ توسعه‌دهندگانِ بین‌المللی تضمین می‌کند.

استقرار و مهندسیِ سخت‌افزاری

اجرای چنین ابعادی بدونِ بهینه‌سازیِ دقیق ممکن نبود. متا با پیاده‌سازیِ تکنیک‌هایِ فشرده‌سازی (Quantization) تا سطحِ ۴ بیتی، نیاز به حافظهٔ گرافیکی را به حدودِ ۲۴۳ گیگابایت کاهش داده است. این عدد اگرچه سنگین است، اما در خوشه‌هایِ چند‌کارتی قابلِ مدیریت شده و اجرایِ مدل را از آزمایشگاه به سرورهایِ عملیاتی منتقل می‌کند. اکوسیستم نیز با استقبالِ گرم پاسخ داد؛ پلتفرمِ هابینگ‌فِیس و AWS در ساعت‌هایِ اولیه مدل را بومی‌سازی کردند و بیش از یک میلیون دانلود در روزِ اول ثبت شد.

در لایهٔ توسعه، صفحهٔ رسمیِ مدل در هابینگ‌فیس مسیرهایِ متعددی را برای اجرا باز کرده است. کتابخانهٔ Transformers با کلاس‌هایِ AutoModelForCausalLM و pipeline، به همراهِ موتورِ سرعت‌بخشِ vLLM، امکانِ اجرا با پیکربندی‌هایِ پویا را فراهم می‌کند. علاوه بر این، ابزارهایِ متن‌باز مانندِ llama.cpp بهینه‌سازی‌هایِ سخت‌افزاریِ خاصِ CPU و GPU ارائه می‌دهند که چابکیِ مدل را در محیط‌هایِ منابعِ محدود افزایش می‌دهد.

چشم‌اندازِ پیشِ رو

ظهورِ ال‌لاما ۳.۱ ۴۰۵ نشان می‌دهد که آیندهٔ هوشِ مصنوعی دیگر در انحصارِ انجمن‌هایِ بسته جای نمی‌گیرد. مدل‌هایِ باز با سرعتی باورنکردنی در حالِ رشدند و توسعه‌دهندگانِ مستقل می‌توانند در کنارِ غول‌هایِ فناوری معماری‌هایِ نوینی را پایه‌گذاری کنند. این تغییرِ جهت، محتمل‌ترین بستر برایِ ظهورِ کاربردهایِ تخصصی در پزشکی، حقوق و مهندسی در سال‌هایِ پیشِ رو خواهد بود و قطعاً نحوۀ تعاملِ انسان با ماشین را بازتعریف می‌کند.