کاربری با نام Objz در ردیت، چت‌بات ماینکرفت مبتنی بر یک مدل زبانی کوچک را صرفاً با 445,782 بلوک فرمان در نسخه وانیلا پیاده‌سازی کرد — بدون مود، پلاگین یا دیتاپک. پروژه‌ای که سازنده آن «یک سردرد» توصیف می‌کند، نشان می‌دهد چگونه محدودیت‌های پلتفرم به راه‌حل‌های مهندسی خلاقانه منجر شده‌اند.

مشخصات فنی

مدل پیاده‌شده ساختاری جمع‌وجور دارد: فضای تعبیه 64 بعدی، یک لایه پنهان با 256 نورون و واژگانی شامل 2,048 کلمه. آموزش روی 11,118 گفت‌وگوی مجموعه DailyDialog انجام شده و بازیکنان از طریق فرمان /dialog با آن مکالمه می‌کنند؛ خروجی به‌صورت کلمه‌به‌کلمه تولید می‌شود.

محدودیت‌ها

  • توانایی اصلی مدل محدود به مکالمه پایه‌ای است و دانش عمومی گسترده‌ای ندارد.
  • قابلیت حل محاسبات ریاضی پیچیده وجود ندارد.
  • به‌دلیل محدودیت‌های اجرایی ماینکرفت، هر کلمه حدود 1.8 ثانیه روی سروری با 35 تیک تولید می‌شود.

علت کافی بودن 445,782 بلوک فرمان

نسخهٔ اولیه پروژه نزدیک به 2,000,000 بلوک بود، اما با مجموعه‌ای از بهینه‌سازی‌ها شمار بلوک‌ها به کمتر از نیم میلیون کاهش یافت. نقطهٔ محوری فشرده‌سازی استفاده از نمایش سه‌حالته برای وزن‌ها بود: -1، 0 و +1. به‌جای استفاده از مقادیر اعشاری پرهزینه، وزن‌ها در طول آموزش کوانتیزه شدند و برای به‌روزرسانی وزن‌های اعشاری زیربنایی از یک برآوردگر مستقیم (straight-through estimator) در پس‌انتشار بهره گرفته شد.

نتایجِ استفاده از نمایش سه‌حالته:

  • نیاز به تبدیل‌های عدد صحیح–اعشاری کاهش یافت؛ چون فرمان scoreboard در ماینکرفت فقط با اعداد صحیح کار می‌کند و عملیات اعشاری را پیچیده می‌کند.
  • وجود مقادیر صفر در ماتریس وزن‌ها باعث شد میانگین عملیات ضرب-جمع معادل تنها 0.67 فرمان باشد؛ در عمل بسیاری از عملیات حذف شدند.
  • کوانتیزه‌سازی از ابتدا (به‌جای گرد کردن پس از آموزش) پریپلکسیتی مدل را از 48.7 به 38.8 کاهش داد.
نمایی از ساختار بلوک‌های فرمان در ماینکرفت

پیچیدگی‌های اجرایی و مقیاس‌پذیری

ماینکرفت محدودیتی در تعداد فرمان‌هایی که می‌تواند هم‌زمان اجرا کند دارد؛ بنابراین مدل به بخش‌های کوچک تقسیم شد تا بار اجرا مدیریت شود. حتی با این تقسیم‌بندی، افزایش اندازهٔ مدل به‌سرعت بسیار پرهزینه می‌شود؛ سازنده تخمین زده است که پیاده‌سازی یک LLM با حدود 135 میلیون پارامتر در همین معماری به‌مراتب بزرگ‌تر خواهد بود و به‌طور تقریبی 200 برابر منابع بیشتری نیاز دارد.

اهمیت فنی فراتر از شوخی‌های ردستون

نمونهٔ Objz نشان می‌دهد وقتی پیاده‌سازی دقیق اعشاری یا محاسبات پیچیده در یک محیط محدود عملی یا اقتصادی نیست، انتخاب نمایش‌های گسسته و کوانتیزه‌سازی می‌تواند راه‌حلی کارا و قابلِ اجرا ارائه کند. این پروژه نه تنها یک اثبات مفهوم فنی است، بلکه نمونه‌ای از کاربرد ابزارها و سازه‌های سادهٔ بازی برای آموزش و نمایش مفاهیم یادگیری ماشین است.

نمونه‌ای از بلوک‌های فرمان و ساختار داخلی چت‌بات

ارجاع‌ها و منابع

جمع‌بندی

این پروژه نشان می‌دهد که بهینه‌سازی‌های مهندسی و انتخاب نمایش مناسب وزن‌ها می‌تواند مرزهای ممکن در محیط‌های محدود را جابه‌جا کند. احتمالاً در آینده نمونه‌های بیشتری خواهیم دید که جامعهٔ بازی‌سازان و سازندگان محتوای تعاملی از بازی به‌عنوان بستری برای پژوهش و آموزش مفاهیم پیشرفتهٔ یادگیری ماشین استفاده می‌کنند.