محققان در کره و ژاپن دو رویکرد نوآورانه برای یکپارچه‌سازی حافظه با پهنای باند بالا (HBM) ارائه کرده‌اند که وعده افزایش ظرفیت و پهنای باند را بدون به دام انداختن گرمای بیشتر در چیدمان‌های DRAM می‌دهند. این طرح‌ها که با نام‌های V-Die (کرهای) و MOSAIC (ژاپنی) شناخته می‌شوند، یکی از چالش‌های اصلی شتاب‌دهنده‌های هوش مصنوعی یعنی دیوار حرارتی حافظه را هدف قرار داده‌اند.

مشکل دیوار حرارتی در HBM

حافظه HBM با انباشتن قالب‌های DRAM به صورت عمودی در کنار پردازنده، پهنای باند بالایی را فراهم می‌کند. اما این ساختار با افزایش تعداد لایه‌ها، گرمای بیشتری را به دام می‌اندازد. گرمای تولیدشده در قالب‌های پایینی باید از لایه‌های سیلیکون و مواد بسته‌بندی عبور کند تا به هیت‌سینک برسد. علاوه بر این، TSVها (مسیرهای عمودی سیلیکونی) فضای ارزشمند قالب را اشغال می‌کنند و هزینه بسته‌بندی را افزایش می‌دهند.

طرح V-Die کره‌ای: چرخش عمودی قالب‌ها

نمایش شماتیک طرح V-Die کره‌ای برای چرخش عمودی قالب‌های DRAM

پژوهشگران مؤسسه ملی علوم و فناوری اولسان (UNIST) در کره، طرح Vertical-Die (V-Die) را ارائه کرده‌اند. در این روش، قالب‌های DRAM به صورت عمودی (لبه‌ای) چیده می‌شوند و هر قالب ورودی/خروجی مخصوص خود را در لبه پایینی دارد. همچنین کانال‌های خنک‌کننده مایع بین قالب‌ها قرار می‌گیرند. در شبیه‌سازی‌ها، سیستم V-Die در یک بار کاری مشابه GPT-3 به ۵۴۰ توکن در ثانیه دست یافت، در حالی که HBM4 تنها ۲۹۶ توکن در ثانیه ارائه می‌داد.

طرح MOSAIC ژاپنی: اتصال بی‌سیم قالب‌ها

تصویر نمونه اولیه طرح MOSAIC ژاپنی با اتصال القایی

پروژه MOSAIC از دانشگاه توکیو بر چالش اتصال قالب‌های عمودی به پردازنده تمرکز دارد. این روش از یک رابط بدون تماس (contactless) استفاده می‌کند که داده‌ها را از طریق سیم‌پیچ‌های القایی کوچک انتقال می‌دهد. این کار نیاز به تراز دقیق پدهای فیزیکی را از بین می‌برد. سرعت نمونه اولیه به ۴ گیگابیت بر ثانیه در هر کانال رسیده و ظرفیت می‌تواند دو برابر HBM4 باشد.

مقایسه و آینده فناوری HBM عمودی

هر دو طرح V-Die و MOSAIC راه‌های جدیدی برای غلبه بر محدودیت‌های حرارتی HBM ارائه می‌دهند. در حالی که V-Die با خنک‌سازی مایع و معماری عمودی به دنبال افزایش عملکرد است، MOSAIC با حذف اتصالات فیزیکی، چیدمان متراکم‌تری را ممکن می‌سازد. با این حال، این فناوری‌ها هنوز در مرحله تحقیقاتی هستند و باید اثبات شوند.

شرکت‌هایی مانند SK hynix، سامسونگ و Micron نیز نسل جدید HBM4 را توسعه می‌دهند. اما اگر این طرح‌های جانبی تجاری شوند، می‌توانند انقلابی در GPUهای آینده و شتاب‌دهنده‌های هوش مصنوعی ایجاد کنند.