اندرو هو، پژوهشگر پیشین OpenAI که پس از تنها هشت روز حضور در این شرکت تصمیم به ترک آن گرفت، می‌گوید تکیه صرف بر بزرگ‌تر کردن مدل‌ها مسیر رسیدن به توانایی عمومی واقعی را مسدود کرده و مشکل اصلی کمبود داده‌های آموزشی هدفمند است. او پیش‌بینی می‌کند صنعت هوش مصنوعی در سال‌های آینده بیش از 100 میلیارد دلار صرف جمع‌آوری داده‌های تخصصی خواهد کرد.

چه مشکلی مطرح شده است؟

هو تأکید می‌کند بسیاری از مهارت‌های اقتصادی موردنیاز برای قابل‌اعتماد کردن مدل‌ها در مجموعه‌داده‌های کنونی نمایندگی ضعیف دارند. بسیاری از وظایف وابسته به زمینه‌اند و حتی مشاهدهٔ رفتار انسانیِ موفق، تعیین اینکه مسیرهای جایگزین نیز نتیجه‌بخش‌اند یا نه را دشوار می‌کند. از این رو، تنها افزایش پارامترها و حجم آموزش به‌ندرت به تعمیم واقعی می‌انجامد.

محورهای اولویت‌دار استارتاپ او

محور نخست محصولات استارتاپ هو روی دو دسته مجموعه‌داده متمرکز است:

  • مجموعه‌داده‌های تخصصی برای تحلیل‌های پیچیده در زیست‌اطلاعات، جایی که حتی مدل‌های پیشرفته فعلی حدود 30 درصد موفقیت دارند.
  • مجموعه‌داده‌هایی برای مراحل روزمرهٔ کار آزمایشگاهی، مانند ارزیابی تصویری آزمایش‌ها توسط مدل‌ها.

گام‌های بعدی شامل حوزه‌های شیمی، علم مواد، مراقبت‌های بهداشتی و سایر کارهای دانش‌محور اعلام شده است.

نمونه تصویر کار آزمایشگاهی برای ارزیابی توسط مدل‌های هوش مصنوعی

چرا برخی پژوهشگران با او موافق‌اند؟

آدام هانت از دانشگاه کمبریج دیدگاه هو را تأیید می‌کند و معتقد است آخرین نسل مدل‌ها در بعضی توانایی‌ها تخصصی‌تر شده‌اند؛ مثلاً در برنامه‌نویسی و ریاضیات پیشرفت نشان داده‌اند اما کیفیت زبان و منطق ساده در برخی نسخه‌ها ثابت یا ضعیف‌تر مانده است. هانت این شکاف را ناشی از وجود سیگنال‌های پاداش روشن و داده‌های جامع در حوزه‌هایی مثل کدنویسی و نبودِ چنین منابعی در حوزه‌های دیگر می‌داند؛ پیوندی که به یادگیری تقویتی و تأمین پاداش‌ها مربوط است (Reinforcement learning).

دیدگاه‌های ساختاری: چه نکاتی از DeepMind می‌آموزیم؟

تام زاهاوی از Google DeepMind توضیح می‌دهد چرا مدل‌ها در استدلال قیاسی خلاق (abduction) ضعف دارند: آنها در استنتاج قیاسی و استقرایی عملکرد مناسبی دارند اما در ابداع فرضیه‌های تازه بدون پیشینهٔ زبانی مشکل‌ساز می‌شوند. راه‌حل پیشنهادی ترکیب مدل‌های زبان بزرگ در سیستم‌های جهان‌محور کنترل‌شده است که امکان شبیه‌سازی آزمایش‌های فرضی و دریافت بازخورد را فراهم کند.

پیامد برای صنعت و سرمایه‌گذاری

هو نسبت به ارزش‌گذاری‌های بالای شرکت‌های پیشرو از جمله Anthropic هشدار می‌دهد. به نظر او این شرکت‌ها برای حفظ برتری ناگزیرند منابع عظیمی را به تولید مدل‌های جدید و آموزش‌های بیشتر اختصاص دهند، در حالی که رقبای کم‌هزینه‌تر می‌توانند با تمرکز بر داده‌های هدفمند بخش‌هایی از بازار را تصاحب کنند. اگر پیش‌بینی هو محقق شود، سرمایه‌گذاری گسترده روی داده‌های اختصاصی ساختار بازار را به سود شرکت‌هایی تغییر خواهد داد که به منابع و توانایی جمع‌آوری داده‌های تخصصی دسترسی دارند.

راه‌های ممکن پیش رو

پیشنهادهای مطرح‌شده از سوی پژوهشگران شامل موارد زیر است:

  • سرمایه‌گذاری سازمانی و هماهنگ روی مجموعه‌داده‌های تخصصی در حوزه‌های حساس مثل زیست‌اطلاعات و مراقبت‌های بهداشتی.
  • ترکیب مدل‌های تخصصی در چارچوب‌های معماری که عملکرد جمعیِ نزدیک‌تری به «عمومی‌تر» شدن ارائه دهند.
  • توسعه سیستم‌های جهان‌محور برای آزمون فرضیه‌ها و تولید بازخوردهای عینی، همان‌طور که DeepMind پیشنهاد می‌کند.
  • استفاده کنترل‌شده از داده‌های مصنوعی محافظت‌شده و اعتبارسنجی‌شده، با در نظر گرفتن محدودیت‌ها و خطرهای بالقوه.

چشم‌انداز و جمع‌بندی

اگر منابع پیش‌بینی‌شده به جمع‌آوری و سازمان‌دهی داده‌های هدفمند هدایت شوند، بازار محصولات مبتنی بر هوش مصنوعی دچار تحول خواهد شد: شرکت‌هایی که به دادهٔ باکیفیت دسترسی دارند مزیت رقابتی بلندمدت به‌دست می‌آورند و حوزه‌هایی مانند تحقیقات زیستی و آزمایشگاه‌ها سریع‌تر تغییر خواهند کرد. در عین حال، پرسش اساسی دربارهٔ توانایی مدل‌ها در فراتر رفتن از ترکیب و بازتولید داده‌ها باقی می‌ماند؛ مسیر فنی آینده احتمالاً ترکیبی از داده‌های بهتر، معماری‌های نوین و روش‌های ارزیابی دقیق‌تر خواهد بود.

جمع‌بندی کوتاه: تمرکز بازار ممکن است از مقیاس‌گرایی صرف به سمت سرمایه‌گذاری هدفمند در داده‌ها تغییر کند؛ تغییری که تأثیر قابل‌توجهی بر پژوهش، صنعت و سیاست‌گذاری خواهد داشت.