هم‌طراحی نرم‌افزار-سخت‌افزار؛ ضرورت برای شتاب‌دهنده‌های ویژه‌دامنه

شتاب‌دهنده‌های ویژه‌دامنه مانند TPU، NPU و تراشه‌های استنتاج نشان می‌دهند تقسیم وظیفهٔ سنتی بین نرم‌افزار و سخت‌افزار کافی نیست؛ دستیابی به عملکرد و بهره‌وری واقعی مستلزم طراحی هم‌زمان و هماهنگ هر دو است. نقش کامپایلرها، کتابخانه‌ها و معماری حافظه به‌اندازهٔ طراحی ترانزیستورها تعیین‌کننده است و بهینه‌سازی باید از سطح مدل و گراف محاسباتی تا سطح سیلیکون پیوسته باشد.

چرایی ناکافی بودن معماری‌های عمومی

پردازنده‌های عمومی و GPUهای همه‌منظوره برای الگوهای محاسباتی یادگیری عمیق مدرن بهینه نیستند. شتاب‌دهنده‌های ویژه‌دامنه روی عملیات متداول مثل ضرب ماتریس و ضرب تنسور بهینه می‌شوند تا بازده انرژی و توان عملیاتی افزایش یابد. معرفی رسمی TPU در Wikipedia و مرور NPUs در Wikipedia راهنمای خوبی برای درک این تفاوت‌هاست.

چالش‌های محاسباتی و حافظه‌ای در بارهای کاری مدرن

مدل‌های زبان بزرگ (LLMها) و بارهای استنتاج ترتیبی دو محدودیت اصلی ایجاد می‌کنند:

  • فشار حافظه: مدل‌های چندمیلیارد پارامتری نیازمند حافظهٔ عظیم برای نگهداری وزن‌ها و حالات میانجی هستند؛ نگهداری و انتقال این داده‌ها بدون طراحی حافظه هماهنگ با نرم‌افزار، کارآمد نخواهد بود.
  • وابستگی ترتیبی: تولید توکن به‌صورت توالی باعث می‌شود کش‌های کلید-مقدار (KV) با طول دنباله خطی رشد کنند؛ این کش‌ها پهنای‌باند و SRAM را تحت فشار قرار می‌دهند و نیاز به تخصیص و زمان‌بندی هوشمند دارند.

برای مرور کلی LLMها می‌توان به Wikipedia مراجعه کرد.

نمونه‌های عملی هم‌طراحی: TPU، NPU و تراشه‌های استنتاج

TPU — موتور ماتریس‌محور

TPUها حول آرایه‌های سیستولیک برای بهینه‌سازی ضرب ماتریس طراحی شده‌اند. مزیت واقعی وقتی حاصل می‌شود که پشتهٔ نرم‌افزاری، از جمله کامپایلر XLA، گراف مدل را بازنویسی کرده، عملیات‌ها را ادغام و حرکت داده را به حداقل برساند. مستندات XLA در سایت TensorFlow روند بهره‌برداری از سخت‌افزار را تشریح می‌کند.

NPUها — دستگاه‌های کم‌مصرف برای لبه

NPUهای موبایل (مثل واحدهای عصبیِ اپل یا تراشه‌های مبتنی بر Arm Ethos) برای کاهش مصرف انرژی و تأخیر طراحی شده‌اند. هم‌طراحی در این حوزه یعنی تطبیق الگوریتم‌های کوانتیزه‌شده، کتابخانه‌های بهینه و مدیریت کش تا تجربهٔ بلادرنگ و مصرف باتری بهینه فراهم شود.

تراشه‌های استنتاج اختصاصی

شرکت‌هایی مانند Graphcore و Cerebras معماری‌هایی با شبکه‌های بین‌نودی سریع و حافظهٔ نزدیک به هسته عرضه کرده‌اند تا پهنای‌باند حافظه بهبود یابد. AWS Inferentia نیز پشتهٔ نرم‌افزاری مخصوص خود را ارائه کرده تا تبدیل گراف و اپراتورها برای سخت‌افزار هدف انجام شود.

الزامات پشتهٔ نرم‌افزاری در هم‌طراحی

برای استخراج عملکرد واقعی، نرم‌افزار و سخت‌افزار باید یکدیگر را بشناسند. مؤلفه‌های کلیدی شامل موارد زیر است:

  • کامپایلر و IRهای میانجی: فناوری‌هایی مثل MLIR و XLA تبدیل‌های سطح بالا را به تعاریف مناسب سخت‌افزار می‌برند و اپراتورها را برای آرایه‌های سیستولیک یا واحدهای ثابت‌عملکرد بازنویسی می‌کنند.
  • کتابخانه‌های بهینه: هسته‌های محاسباتی (مانند GEMM) باید با پهنای‌باند حافظه و اندازهٔ کش سخت‌افزار هم‌تراز شوند تا کارایی حداکثری حاصل شود.
  • کوانتیزاسیون و فشرده‌سازی: انتقال از FP32 به FP16 یا INT8 و استفاده از پرونینگ و ساختارهای پراکنده می‌تواند نیاز حافظه و پهنای‌باند را کاهش دهد؛ اما باید تأثیر بر دقت کارآمد بررسی شود.
  • زمان‌بندی و تخصیص حافظه: زمان‌بندی انتقال داده‌ها، پنهان‌سازی تاخیر حافظه و تخصیص هوشمند SRAM برای نگهداری کش‌های KV در LLMها حیاتی است.

ابزارها و گردش‌کارهای خودکار

پلتفرم‌هایی مانند Apache TVM خودکارسازی تجویز هسته‌ها و تولید کد برای معماری‌های مختلف را نشان داده‌اند. ابزارهای خودکار به مهندسان امکان می‌دهند مجموعهٔ گسترده‌ای از پیاده‌سازی‌ها را آزمایش کنند و بهترین پیکربندی حافظه و ترتیب اپراتورها را برای هدف پیدا کنند.

معیارهای کلیدی ارزیابی

معیارهای زیر برای ارزیابی شتاب‌دهنده‌ها اهمیت دارند:

  • TOPS و TOPS/W: نشان‌دهندهٔ توان خام و بهره‌وری انرژی.
  • پهنای‌باند حافظه: اغلب گلوگاه اصلی در بارهای کاری حافظه‌محور.
  • تاخیر انتها-به-انتها: برای کاربردهای بلادرنگ تعیین‌کننده است.
  • پشتیبانی نرم‌افزاری: پوشش اپراتورها، ابزارهای دیباگ و کیفیت کامپایلر که تجربهٔ توسعه‌دهنده و زمان عرضه به بازار را شکل می‌دهد.

ملاحظات مهندسی و تجاری

هم‌طراحی در مراحل اولیه هزینه و پیچیدگی را افزایش می‌دهد؛ اما مزایای عملکردی و مصرف انرژی برای محصولات رقابتی قابل توجه است. شرکت‌ها باید میان انعطاف‌پذیری و بهینه‌سازی سطح پایین بر اساس بازار هدف تعادل برقرار کنند: از سخت‌افزارهای با عملکرد بسیار بالا برای مراکز داده تا NPUهای کم‌مصرف برای دستگاه‌های مرزی.

نگاه رو به جلو

آیندهٔ شتاب‌دهنده‌ها متکی به ترکیب معماری‌های هتروژن، چیپلت‌ها، حافظهٔ نزدیک پردازش و پشتهٔ نرم‌افزاری قوی‌تر است. روش‌هایی مانند محاسبات نزدیک حافظه و بهره‌گیری از پراکندگی داده‌ها می‌توانند گلوگاه‌های فعلی را کاهش دهند. اجرای مدل‌های بزرگ‌تر با هزینهٔ انرژی کمتر و تاخیر پایین‌تر تنها وقتی ممکن است که نرم‌افزار و سخت‌افزار از آغاز با هدف مشترک طراحی شوند.

منابع برای مطالعهٔ بیشتر

پیشنهاد عملی: سازمان‌هایی که می‌خواهند در لبهٔ نوآوری باقی بمانند باید تیم‌های سخت‌افزار، کامپایلر و الگوریتم را طوری سازمان‌دهی کنند که اهداف عملکردی از کد تا سیلیکون یکپارچه دنبال شوند؛ تنها در این صورت مزایای هم‌طراحی به‌طور کامل محقق خواهد شد.