پژوهشگران Pathway از مدل BDH-CQ رونمایی کردهاند؛ مدلی مبتنی بر نمایشهای برداری و حافظهٔ کوتاهمدت که با تنها 150 میلیون پارامتر، مصرف منابع را بهطرز چشمگیری کاهش میدهد و رویکردهای مرسوم مبتنی بر ترنسفورمر را به چالش میکشد.
ویژگیهای متمایز BDH-CQ
نویسندگان گزارش میدهند که BDH-CQ بهجای تولید پیوستهٔ توکنهای متنی بر ظرفیتهای برداری و ساختار حافظهٔ مکالمه تکیه میکند. این طراحی موجب میشود پیچیدگی محاسباتی و مصرف حافظه هنگام پردازش ورودیهای طولانی بهمقدار قابلتوجهی کاهش یابد، در حالی که قابلیتهای استدلالی در سطح قابلقبولی حفظ میشود.
اعداد کلیدی و مقایسهها
- پارامترها: 150 میلیون پارامتر در برابر مدلهایی با دهها تا صدها میلیارد پارامتر.
- عملکرد: امتیاز تقریبی 30% در بنچمارک ARC-AGI-1 (نسخهٔ توسعهیافته ARC)، یعنی حل موفق تقریباً 3 از هر 10 پازل در دو تلاش یا کمتر.
- هزینهٔ توکنی: مصرف توکنی تا 11 برابر کمتر نسبت به یک مدل سبک ورودی (مثلاً GPT 5.6 Luna (Low)) گزارش شده است.
این ترکیب عملکرد قابلپذیر با هزینهٔ بسیار پایین نقطهعطفی برای حرکت به سمت طراحیهای کارآمدتر معماریهای شناختی بهشمار میآید.
پیامدها برای صنعت و پژوهش
کاهش هزینهٔ محاسباتی و کوچکتر شدن مدلها میتواند پیامدهای عملی زیر را داشته باشد:
- قابلیت استقرار گستردهتر روی دستگاههای لبهای و در محیطهای با منابع محدود.
- کاهش مصرف انرژی و بهبود پایداری زیستمحیطی در پیادهسازیهای بزرگ مقیاس.
- امکان توسعهٔ مقیاسپذیر شناختی با هزینهٔ کمتر نسبت به رویکردهای صرفاً افزایش پارامتر.
محدودیتها و پرسشهای باز
- قابلیت رقابت در وظایف زبانی پیچیده هنوز نامشخص است و نیاز به ارزیابیهای دقیقتر دارد.
- بازتولید نتایج توسط تیمهای مستقل و انتشار کد و مدلهای مقیاسپذیر برای اعتبارسنجی ضروری است.
- پیچیدگی عملیاتی و نیازمندیهای مهندسی هنگام ترکیب رویکردهای برداری با سیستمهای موجود باید بررسی شود.
منابع و دسترسی
خلاصهٔ فنی پژوهش در arXiv منتشر شده و بررسی مستقل ادامه دارد. برای مطالعهٔ پسزمینهٔ معماری ترنسفورمر و محدودیتهای آن میتوانید به صفحهٔ ترنسفورمر در ویکیپدیا مراجعه کنید.
نگاهی رو به جلو
نتایج اولیهٔ BDH-CQ نشاندهندهٔ مسیر جایگزینی یا تکمیل ترنسفورمرها با طراحیهای برداری و حافظهٔ بهینهتر است. اثبات برتری عملی نیازمند مجموعهای از آزمایشهای مقیاسپذیر، توسعهٔ ابزارها و ارزیابیهای مستقل است تا مشخص شود آیا عصر «پسترنسفورمر» آغاز شده یا این رویکرد در ترکیب با معماریهای موجود رشد خواهد کرد.
