کوب‌فلو مجموعه‌ای از به‌روزرسانی‌های فنی منتشر کرده که اجرای هوش مصنوعی توزیع‌شده و محاسبات با کارایی بالا (HPC) روی کوبرنتیز را سرعت می‌بخشد. این تحولات هم‌زمان با حرکت پروژه به سمت فارغ‌التحصیلی از Cloud Native Computing Foundation ارائه شده‌اند.

Kale 2.0: انتقال سریع از نت‌بوک به تولید

Kale 2.0 نت‌بوک‌های Jupyter حاشیه‌نویسی‌شده را بدون نیاز به نوشتن کد SDK برای Kubeflow Pipelines به پایپلاین‌های آماده تولید تبدیل می‌کند و از معماری Kubeflow Pipelines v2 پشتیبانی می‌نماید. این تغییر زمان انتقال دانشمندان داده از مرحله کاوش و آزمایش به محیط تولید را کوتاه کرده و نگارش دستی پایپلاین را حذف می‌کند.

بازطراحی Notebooks و کنترل قالبی برای تیم‌های پلتفرم

Kubeflow Notebooks v2 از پایه بازطراحی شده و اکنون بر معماری اعلامی مبتنی بر CRD تکیه دارد. این معماری به تیم‌های پلتفرم اجازه می‌دهد محیط‌های تعاملی مانند JupyterLab و VS Code را با الگوهای از پیش‌تعریف‌شده مدیریت و استقرار دهند. نسخه آلفای عمومی برای ارزیابی سازمان‌ها در دسترس قرار گرفته است.

پنل مدیریت Kubeflow Notebooks v2 و کنترل قالب‌ها

SDK با پشتیبانی بومی از Spark و بهبود مشاهده‌پذیری

نسخه به‌روز SDK کوب‌فلو پشتیبانی بومی از Apache Spark را فراهم می‌کند تا اجرای Spark روی کوبرنتیز بدون نیاز به پیکربندی زیرساختی دستی امکان‌پذیر شود. SDK یک رابط یکپارچه پایتون برای پردازش داده، ارکستراسیون پایپلاین‌ها، آموزش توزیع‌شده و تنظیم ابرپارامترها ارائه می‌دهد و شامل الگوهای آماده برای فاین‌تیون مدل‌های زبانی بزرگ است. به‌روزرسانی‌های آتی ابزارهای OpenTelemetry و MLflow قابلیت مشاهده و ردیابی در سراسر چرخه عمر مدل را تقویت خواهند کرد.

ویژگی‌های کلیدی SDK

  • اجرای Spark روی کوبرنتیز بدون پیکربندی دستی
  • رابط یکپارچه پایتون برای ارکستراسیون و پردازش داده
  • الگوهای آماده برای فاین‌تیون مدل‌های بزرگ
  • افزودن OpenTelemetry و MLflow برای تقویت مشاهده‌پذیری و ردیابی

Kubeflow Trainer و یکپارچگی با Flux برای بارهای HPC و AI

نسخه جدید Kubeflow Trainer با پشتیبانی از MPI طراحی شده تا بارهای آموزش توزیع‌شده AI و محاسبات HPC را در یک محیط کوبرنتیز متحد کند. طبق اعلام Flux Framework و گزارش توسعه‌دهندگان، این Trainer اکنون با Flux یکپارچه شده و امکان اجرای شبیه‌سازی‌های عظیم HPC همراه با وظایف آموزشی را با استفاده از رابط مدیریت فرآیند برای سطوح اگزاسکیل فراهم می‌سازد. این یک گام مهم در یکپارچه‌سازی فناوری‌های HPC با لایه کلاد نیتیو است که برای بارهای کاری مدرن هوش مصنوعی ضروری به‌شمار می‌رود.

معماری Trainer کوب‌فلو و یکپارچگی MPI برای HPC

تغییرات در اجزای بستر: Hub، KServe و استقرار مدل

انبار مدل‌ها که پیش‌تر «Model Registry» نام داشت، اکنون با عنوان Hub عرضه می‌شود تا دامنه وسیع‌تری از خدمات از جمله فهرست مدل (Model Catalog) و فهرست MCP را دربرگیرد. Hub از استانداردهای OCI برای ذخیره‌سازی مدل پشتیبانی می‌کند. در بخش سرویس‌دهی مدل، KServe نوع CRD جدیدی به‌نام LLMInferenceService معرفی کرده که سرویس‌دهی مدل‌های زبانی بزرگ را به جزء پایه‌ای پلتفرم تبدیل می‌کند و از استنتاج توزیع‌شده روی چند نود و APIهای سازگار با OpenAI پشتیبانی می‌نماید.

نسخه جامعه؛ تمرکز بر امنیت و مقیاس‌پذیری

توزیع جامعه‌ای Kubeflow Community Distribution نسخه 26.03 با تاکید بر مقیاس‌پذیری و امنیت منتشر شده و برای کوبرنتیز نسخه 1.34 به بالا اعتبارسنجی شده است. این انتشار تنظیمات چندمستاجرانه را تقویت و سازگاری با استانداردهای Pod Security Standards Restricted را پیاده‌سازی می‌کند تا انطباق امنیتی سازمانی بهبود یابد.

جذب جامعه و برنامه‌های آموزشی

کمیونیتی کوب‌فلو برنامه Outreach جدید و گروه کاری تجربه ML را راه‌اندازی کرده تا با بهبود رابط کاربری و فراهم‌سازی مربی‌گری، ورود مشارکت‌کنندگان تازه‌وارد را تسهیل کند. همچنین یک نمایش مجازی برای ارائه نمونه‌های کاربردی MLOps در تاریخ 19 اوت برنامه‌ریزی شده است.

جمع‌بندی و افق پیش رو

با مجموعه‌ای از به‌روزرسانی‌ها که از ابزارهای توسعه‌دهنده تا اجزای پایه‌ای پلتفرم را در بر می‌گیرد، کوب‌فلو به‌سرعت به اکوسیستمی بالغ برای تولید هوش مصنوعی بدل می‌شود. تقویت سازوکارهای HPC، پشتیبانی بهتر از Spark و ابزارهای افزایش مشاهده‌پذیری نشان می‌دهد زیرساخت‌های کلاد نیتیو آماده پشتیبانی از بارهای کاری نسل جدید هوش مصنوعی هستند.