چرا دموهای هوش مصنوعی در عمل شکست میخورند؟
بیشتر تیمهای مهندسی که با آنها صحبت میکنم، به راحتی یک دموی هوش مصنوعی میسازند. نمونه اولیه کار میکند، ذینفعان تحت تأثیر قرار میگیرند و همه موافقاند که این مورد کاربرد پتانسیل بالایی دارد. اما ناگهان پروژه به یک مانع برخورد میکند. دلایل این شکست میتواند متفاوت باشد، اما تحقیقات جدید نشان میدهد که مشکلات در جمعآوری و تجزیه و تحلیل دادههای بلادرنگ از منابع متعدد اغلب ریشه اصلی مشکل است. این چالش با کمبود فزاینده مهارتهای تخصصی نیز تشدید میشود.
به گزارش جدید شرکت کانفلویت (Confluent) تحت عنوان «گزارش پخش جریانی دادههای ۲۰۲۶»، تنها ۳۲٪ از سازمانها اعلام کردهاند که هوش مصنوعی عاملی را در محیط تولید اجرا میکنند. در همین حال، دو سوم پاسخدهندگان، زیرساخت داده و کیفیت پایین داده را به عنوان موانع اصلی موفقیت سیستمهای هوش مصنوعی عاملی معرفی کردهاند. مدلها در شرایط کنترلشده آزمایشگاهی عالی عمل میکنند، اما دنیای واقعی قصهای کاملاً متفاوت دارد.
چرا شکاف بین دمو و تولید اینقدر عمیق است؟
دموها معمولاً به این دلیل موفق هستند که همه چیز در اطراف آنها کنترل شده است. دادهها ثابت و با دقت برای پشتیبانی دقیق از خواستههای مدل تنظیم شدهاند. اما محیطهای تولید این امتیازات را ندارند. در تولید، سیستمهای هوش مصنوعی باید دادههایی را که در دهها منبع مختلف مانند پایگاههای داده، جریانهای رویداد، لاگهای برنامه و فیدهای شخص ثالث پراکنده شدهاند، پرسوجو کنند. بسیاری از این دادهها ضعیف مدیریت میشوند و تعداد کمی از آنها برای مصرف بلادرنگ توسط یک عامل هوش مصنوعی طراحی شدهاند. نتیجه این است که مدلهایی که در آزمایشهای اولیه فوقالعاده به نظر میرسیدند، نتایج غیرقابل اعتمادی را برمیگردانند زیرا با دادههای کهنه، ناقص یا بدون زمینه کار میکنند.
«غریزه اولیه این است که مدل را تنظیم کنید، اما مشکل به احتمال زیاد در دادهای است که آن را تغذیه میکند.»
در این گزارش، ۷۲٪ از رهبران فناوری اطلاعات، زیرساخت ناکافی برای پردازش دادههای بلادرنگ را به عنوان مانعی برای مقیاسسازی هوش مصنوعی ذکر کردند که نسبت به ۶۱٪ سال قبل افزایش یافته است. این افزایش نشان میدهد که مشکل نه تنها حل نمیشود، بلکه با حرکت تیمها به سمت تولید، بیشتر نمایان میگردد.
نیازهای یک سیستم هوش مصنوعی آماده تولید
- دادههای قابل اعتماد: سیستم باید به دادههایی دسترسی داشته باشد که دقیق، بهروز و از یکپارچگی بالایی برخوردارند.
- دادههای دارای زمینه: دادهها باید با متادیتا و ارتباطات معنایی غنی شوند تا مدل بتواند به درستی تفسیر کند.
- دادههای بلادرنگ: به جای خطوط لوله دستهای (batch) که تأخیر ایجاد میکنند، باید از جریانهای پیوسته داده استفاده کرد.
متأسفانه، خطوط لوله دستهای تقریباً همیشه تأخیر را وارد فرآیند میکنند، فاقد قراردادهای رسمی داده هستند و تبار داده (data lineage) را مبهم میسازند. در نتیجه، سیستم هوش مصنوعی با یک عکس فوری ناسازگار و جزئی از کسبوکار کار میکند، نه با آنچه در لحظه در حال رخ دادن است.
بحران مهارتها؛ مانعی بزرگتر از آنچه تصور میکنید
گزارش کانفلویت چالش دیگری را نیز آشکار میکند: ۷۱٪ از رهبران فناوری اطلاعات، کمبود تخصص و مهارتهای مرتبط را به عنوان مانعی برای پذیرش هوش مصنوعی ذکر کردهاند. ماهیت توسعه نرمافزار تغییر کرده است؛ از رمزگذاری منطق تجاری به ایجاد محیطی اطلاعاتی که در آن سیستمهای خودکار میتوانند یاد بگیرند و تعمیم دهند.
برای ساخت برنامههای هوش مصنوعی قابل اعتماد، توسعهدهندگان باید مهندسان داده قویتری باشند. آنها باید با سیستمهای توزیعشده، معماریهای جریانی، کنترلهای کیفیت داده و نحوه ساخت خطوط لولهای که در شرایط واقعی دوام بیاورند آشنا شوند. همچنین باید درباره تبار داده، تکامل طرح (schema evolution) و تأثیر تغییرات در منابع بالادست استدلال کنند. علاوه بر این، الگوهای تضمین کیفیت که برای نرمافزار قطعی کار میکنند (ورودی یکسان، خروجی یکسان) به سیستمهای احتمالی قابل انتقال نیستند.
بیشتر توسعهدهندگان قبلاً مجبور نبودهاند اینگونه فکر کنند. امروزه، رساندن دادههای درست به سیستم درست در زمان درست، به روشی کنترلشده و قابل استفاده مجدد، از یک نگرانی تخصصی به یک نیاز اساسی برای هرکسی که هوش مصنوعی تولیدی میسازد تبدیل شده است. این بدان معناست که سرمایهگذاری در مهارتهای مهندسی داده باید همگام با سرمایهگذاری در خود هوش مصنوعی پیش برود.
چه چیزی یک سیستم هوش مصنوعی را واقعاً آماده تولید میکند؟
سازمانهایی که از مرحله آزمایشی عبور میکنند، از همان ابتدا به زیرساخت داده به عنوان یک اولویت درجه یک نگاه میکنند. آنها به جای فرآیندهای دستهای، خطوط لوله بلادرنگ میسازند. تعاریف طرح (schema)، متادیتای مالکیت و بررسیهای کیفیت را به کار میگیرند. همچنین قراردادهای داده (data contracts) را بین تولیدکنندگان و مصرفکنندگان داده برقرار میکنند تا از سازگاری و قابلیت اطمینان اطمینان حاصل کنند.
در نهایت، شکاف بین دمو و تولید هوش مصنوعی یک مشکل صرفاً فنی نیست، بلکه یک چالش سازمانی و مهارتی است. برای پر کردن این شکاف، تیمها باید هم روی زیرساخت داده و هم روی مهارتهای انسانی سرمایهگذاری کنند. تنها در این صورت است که دموهای چشمگیر به محصولات واقعی و قابل اعتماد تبدیل میشوند.
