مصرف انرژی LLM در هر دو فاز آموزش و استنتاج قابل‌توجه است. آموزش یک مدل ترنسفورمر پیشرفته ممکن است ده‌ها گیگاوات‌ساعت برق مصرف کند، در حالی که استنتاج روزمره و پیوستهٔ سرویس‌های بزرگ—با میلیاردها درخواست—می‌تواند در مجموع مصرفی چندین برابر آن داشته باشد. روشن شدن این نسبت و اندازه‌گیری دقیقِ مصرف و انتشار کربن پیش‌شرط انتخاب راهکارهای مؤثر کاهش اثرات زیست‌محیطی است.

واحدها و اهمیت اندازه‌گیری مصرف انرژی

انرژی باید با واحدهای استاندارد سنجیده شود: ژول (J) و در عمل معمولاً کیلووات‌ساعت (kWh). تبدیل بار محاسباتی به این واحدها اولین گام است. ضرب انرژی به‌دست‌آمده در شدت کربنی شبکهٔ برق محلی (گرم CO2e بر kWh) برآورد انتشار را می‌دهد. برای مروری پایه‌ای دربارهٔ مفهوم انرژی می‌توانید به Wikipedia مراجعه کنید.

آموزش در برابر استنتاج: کدام فاز پرهزینه‌تر است؟

آموزش معمولاً انرژی‌بر و اپیزودیک است؛ گزارش‌ها از مصرف‌هایی در حدود 50 GWh برای آموزش یک مدل پیشرفته حکایت دارند که معادل مصرف سالانهٔ چند هزار خانوار است. افزایش اندازهٔ مدل و مجموعه‌داده می‌تواند این رقم را چندبرابر کند، مگر آن‌که بهینه‌سازی‌های سخت‌افزاری و الگوریتمی جبران کنند.

استنتاج پیوسته و تکرارشونده است؛ هر پرسش مکالمه‌ای ممکن است بین 0.001–0.01 kWh مصرف کند. وقتی میلیاردها درخواست روزانه جمع شود، مصرف کلی استنتاج می‌تواند به ده‌ها گیگاوات‌ساعت در روز برسد. بنابراین کاهش مصرف به ازای هر پرسش برای سازندگان سرویس حیاتی است.

چگونه مصرف و انتشار را اندازه‌گیری کنیم

  • اندازه‌گیری توان: پایش توان کشیده‌شدهٔ دیتاسنتر (wall power) و جمع‌بندی مصرف شتاب‌دهنده‌ها (GPU/TPU) در طول آموزش یا استنتاج.
  • تبدیل به انرژی: تبدیل وات به kWh با توجه به زمان اجرا.
  • تبدیل به انتشار: ضرب انرژی در شدت کربنی شبکه (g CO2e/kWh). شدت کربنی می‌تواند بر حسب مکان و زمان تغییر کند؛ برای مثال شب‌ها یا در مناطقی با سهم بالای برق تجدیدپذیر، شدت کربنی پایین‌تر است.

ابزار و متدهای رایج پایش

  • مدیران توان و کنتورهای سطح رک یا دیتاسنتر برای اندازه‌گیری wall power.
  • روتکل‌ها و ابزارهای داخلی مانند IPMI، RAPL برای CPU، و ابزارهای تولیدکننده مانند nvidia-smi یا DCGM برای اندازه‌گیری مصرف GPU.
  • نرم‌افزارهای مانیتورینگ (Prometheus، Grafana و مشابه) برای ضبط زمان‌بندی‌شده و تحلیل تاریخی مصرف.

نقش زیرساخت

چند عامل زیرساختی تعیین‌کنندهٔ مصرف نهایی هستند:

  • نوع شتاب‌دهنده: GPUها برای بارهای هوش مصنوعی انرژی‌گیرتر از CPUها هستند، اما معمولاً کارایی محاسباتی به ازای وات بالاتری ارائه می‌دهند.
  • نسل سخت‌افزار: نسل‌های جدید شتاب‌دهنده‌ها (GPU، TPU، و تراشه‌های اختصاصی) معمولاً انرژی به ازای عملیات را کاهش می‌دهند؛ برخی نسل‌های جدید تا چند برابر بهینه‌تر عمل می‌کنند.
  • طراحی مرکز داده: شاخص PUE (Power Usage Effectiveness) نشان می‌دهد چه سهمی از مصرف کل صرف سربار و خنک‌سازی می‌شود؛ دیتاسنترهای مدرن معمولاً PUE حدود 1.1–1.2 دارند که سربار را به حداقل می‌رساند.
رَک‌ها و شتاب‌دهنده‌های دیتاسنتر در حال کار

تکنیک‌های کاهش مصرف و انتشار

ترکیبی از بهینه‌سازی‌های سخت‌افزاری، نرم‌افزاری و عملیاتی می‌تواند مصرف و ردپای کربنی را به‌طور معنی‌داری کاهش دهد. رویکردهای کلیدی عبارت‌اند از:

  • افزایش کارایی سخت‌افزار: انتخاب شتاب‌دهنده‌های با بازده انرژی بالاتر یا تراشه‌های اختصاصی برای بارهای مشخص.
  • بهینه‌سازی‌های نرم‌افزاری: کوانتیزه‌سازی، فشرده‌سازی مدل، بهره‌گیری از sparsity و روش‌هایی مانند Knowledge Distillation برای کاهش اندازه و هزینهٔ محاسباتی مدل‌ها.
  • بهینه‌سازی استنتاج: batching، کشینگ پاسخ‌های پرتکرار، مسیردهی مدل (routing) و استفاده از مدل‌های سبک‌تر برای پرسش‌های ساده و با اولویت پایین.
  • زمان‌بندی و مدیریت بار: سیاست‌های carbon-aware scheduling و انتقال آموزش یا پردازش سنگین به زمان‌ها یا مکان‌هایی که شدت کربنی کمتر است.
  • خرید پاک و انرژی تجدیدپذیر: قراردادهای خرید انرژی (PPA) و سرمایه‌گذاری در منابع تجدیدپذیر برای تأمین برق دیتاسنترها.

ابزارها و شفافیت برای پیگیری اثرات

نیاز به استانداردسازی گزارش و انتشار داده‌های واقعی مصرف سخت‌افزار و شدت کربنی زمانی وجود دارد تا مقایسهٔ عملکرد و سیاست‌گذاری هدفمند ممکن شود. گزارش‌های فنی و صنعتی و مقالات در arXiv روش‌شناسی‌ها و متریک‌های مرتبط را تشریح کرده‌اند.

نمای نزدیک از کارت‌های شتاب‌دهنده در یک سرور دیتاسنتر

چشم‌انداز و اقدام‌های فوری

پیشرفت هم‌زمان در سخت‌افزار، الگوریتم‌ها و مدیریت عملیاتی می‌تواند شدت مصرف انرژی مدل‌های بزرگ را به‌شدت کاهش دهد. این پیشرفت باید با شفافیت در گزارش و سیاست‌گذاری همراه شود تا از انتقال بار انتشار به نقاط دیگر زنجیرهٔ تأمین جلوگیری شود. شرکت‌ها، محققان و سیاست‌گذاران اکنون می‌توانند استانداردهای گزارش و متریک‌های مشترکی تعریف کنند که رشد هوش مصنوعی را با اهداف اقلیمی هماهنگ سازد.

منابع پیشنهادی برای مطالعهٔ بیشتر: صفحهٔ ویکی‌پدیا دربارهٔ مدل‌های زبانی بزرگ و مجموعه مقالات فنی در arXiv نقطهٔ شروع مناسبی هستند.