در اکتبر ۲۰۱۷، تیم گوگل دیپمایند مقالهای تحولآفرین در مجله Nature منتشر کرد که نگرش پژوهشگران به یادگیری ماشین را بهطور بنیادین دگرگون ساخت. این مقاله الگوریتمی به نام AlphaGo Zero را معرفی کرد که صرفاً با بازیکردن در برابر خودش، بازی باستانی چینی «گو» را از صفر آموخت. این سامانه بدون بهرهگیری از هیچگونه داده بازيهای انسانی، ویژگیهای مهندسیشده یا راهنماییهای خارجی، تنها در عرض چند روز به قدرتمندترین بازیکن تاریخ این ورزش ذهنی تبدیل شد.
شاید مهمترین پرسش در این میان این باشد که یادگیری تقویتیِ خودبازی (Self-Play Reinforcement Learning) در این سامانه چگونه عمل میکند، چرا از نسخههای پیشین متمایز است و پیامدهای آن چگونه فراتر از یک صفحه بازی ساده اعمال میشود.
چالش بزرگ هوش مصنوعی؛ چرا بازی گو اینقدر پیچیده است؟
برای درک عظمت دستاورد AlphaGo Zero، باید مقیاس این مسئله را بررسی کرد. بازی گو سالها بهعنوان یک چالش بزرگ و دستنیافتنی برای هوش مصنوعی شناخته میشد. پیچیدگی این بازی ۱۰ به توان ۱۰۰ برابر بیشتر از شطرنج است و شمار آرایشهای ممکن روی صفحه آن به رقم حیرتانگیز ۱۰ به توان ۱۷۰ میرسد؛ عددی بسیار بیشتر از تعداد اتمهای موجود در جهان شناختهشده! با وجود چندین دهه تلاش، قدرتمندترین برنامههای رایانهای پیش از این، نهایتاً توانسته بودند به سطح بازیکنان آماتور برسند. الگوریتمهای متداول در ارزیابی این حجم از حرکات ممکن ناتوان بودند و هیچگاه نتوانستند خلاقیت و شهود انسانی را شبیهسازی کنند.
نسخه اولیه AlphaGo این مانع را با ترکیب شبکههای عصبی عمیق و الگوریتمهای جستوجوی پیشرفته در هم شکست. این سامانه از دو شبکه مجزا بهره میبرد: یک «شبکه سیاست» (Policy Network) برای انتخاب حرکت بعدی و یک «شبکه ارزش» (Value Network) برای پیشبینی برنده نهایی. نکته کلیدی در مورد نسخه اولیه این بود که ابتدا هزاران بازی بازیکنان حرفهای به آن نشان داده شد تا نحوه بازی انسانها را بیاموزد و سپس از طریق یادگیری تقویتی ارتقا یافت.
این رویکرد منجر به نتایجی تاریخی شد: پیروزی ۵ بر صفر مقابل فن هوی (قهرمان اروپا) در اکتبر ۲۰۱۵ و پیروزی مشهور ۴ بر ۱ مقابل لی سدول (قهرمان جهان) در سئول که بیش از 200 میلیون نفر آن را بهصورت زنده تماشا کردند. بااینحال، موتور هوشمند آن همچنان وابسته به پایهای از دانش بشری بود.
ایده اصلی AlphaGo Zero؛ سامانهای که خودش معلم خود میشود
نسخه صفر، گام را بسیار فراتر گذاشت و وابستگی به دادههای انسانی را بهطور کامل کنار زد. این سامانه از شکل جدیدی از یادگیری تقویتی بهره میبرد که در آن هوش مصنوعی به آموزگار خودش تبدیل میشود. الگوریتم صرفاً بر پایه یادگیری تقویتی بنا شده و منحصراً از طریق رقابت با خویشتن، مهارت خود را ارتقا میدهد.
در بسیاری از حوزههای علوم کامپیوتر، سامانهها برای یادگیری به حجم عظیمی از تخصص و دادههای انسانی نیاز دارند. اما در برخی مسائل پیچیده، دانش بشری ممکن است بیش از حد پرهزینه، غیرقابلاعتماد یا اساساً در دسترس نباشد. AlphaGo Zero ثابت کرد که یک الگوریتم میتواند از یک «لوح سفید» (Tabula Rasa) و بدون هیچ ورودی انسانی، در دشوارترین حوزهها به عملکردی فراطبیعی دست یابد.
مکانیسم چرخه آموزش خودبازی چگونه کار میکند؟
فرایند یادگیری این هوش مصنوعی یک چرخه پیوسته و خودبهبوددهنده را شکل میدهد که شامل چهار مرحله کلیدی زیر است:
- شروع از هیچچیز: سامانه کار خود را با یک شبکه عصبی کاملاً خام آغاز میکند که کوچکترین دانشی درباره قوانین بازی ندارد؛ به همین دلیل حرکات اولیه آن کاملاً تصادفی هستند.
- ترکیب شبکه با جستوجو: این هوش مصنوعی با ترکیب شبکه عصبی خود و الگوریتم قدرتمند جستوجوی درختی مونتکارلو (MCTS)، در برابر خودش به رقابت میپردازد. برخلاف نسلهای قبلی که MCTS خارج از حلقه آموزش بود، نسخه Zero این الگوریتم را مستقیماً درون فرایند یادگیری ادغام کرد.
- تنظیم شبکه از طریق بازی: همزمان با پیشرفت بازیها، شبکه عصبی بهطور مداوم تنظیم میشود تا حرکات بعدی و برنده نهایی را با دقت بیشتری پیشبینی کند. خروجی سیاست شبکه بهعنوان احتمال پیشین برای هدایت جستوجو استفاده میشود و حرکت نهایی بر اساس سیاست بهبودیافتهِ الگوریتم MCTS انتخاب میگردد.
- ترکیب دوباره و تکرار چرخه: شبکه عصبیِ جدیدly بهروزرسانیشده، مجدداً با موتور جستوجو ترکیب میشود تا نسخهای جدیدتر، قویتر و هوشمندتر برای دور بعدی مسابقات تولید شود. این چرخه تا بینهایت تکرار میشود.
فراتر از یک بازی روی میز
تسلط هوش مصنوعی بر بازی گو تنها یک شکست دادن انسان در یک سرگرمی نیست؛ بلکه ترازوی سنجش تکامل درک ماشین از محیط پیرامون است. الگوی موفقیت AlphaGo Zero نشان میدهد که برای حل مسائل ناشناخته در آینده، شاید نیازی به تقلید از روشهای سنتی بشر نباشد. این الگوریتمها میتوانند با تکیه بر منطق محض و آزمونوخطای درونی، راهحلهایی را خلق کنند که هرگز به ذهن انسان خطور نکرده است؛ رویکردی که میتواند تحولات شگرفی را در حوزههایی نظیر کشف دارو، شبیهسازیهای علمی و تحلیلهای پیچیده اقتصادی رقم بزند.
