در ژوئیه ۲۰۰۶، جفری هینتون به همراه سایمون اوسیندرو و ییوی ته مقالهای ۲۸صفحهای با عنوان «یک الگوریتم یادگیری سریع برای شبکههای باور عمیق» در نشریه Neural Computation منتشر کردند. انتشار همزمان مقاله مکمل این پژوهش با عنوان «کاهش ابعاد دادهها با استفاده از شبکههای عصبی» در نشریه Science، نقطه عطفی در تاریخ هوش مصنوعی رقم زد. این دو کار علمی اکنون بهعنوان آغازگر مکتب نوین یادگیری عمیق شناخته میشوند؛ لحظهای که به پانزده سال انزوای آکادمیک شبکههای عصبی پایان داد.
شکستن سقف ماشینهای بردار پشتیبان با پیشآموزش لایهبهلایه
هسته مرکزی مقاله هینتون، بهرهگیری از ترفندی نامتعارف بود: پیشآموزش حریصانه (Greedy Pre-training) ماشینهای بولتزمن محدودشده (RBM) بهصورت لایهلایه و سپس تنظیم دقیق کل ساختار. این روش برای نخستین بار سقف عملکرد الگوریتم ماشین بردار پشتیبان (SVM) را در پایگاه داده MNIST در هم شکست و توانست به خطای چشمگیر 1.25 درصدی در برابر خطای 1.4 درصدی SVM دست یابد.
هرچند با ورود به عصر کلانداده و پردازندههای گرافیکی قدرتمند در سال ۲۰۱۲ و معماری AlexNet، دیگر نیازی به این روش خاص نبود، اما دستاورد اصلی مقاله هینتون بازگرداندن اعتبار علمی به عبارت «یادگیری عمیق» بود؛ واژهای که طی یک دهه و نیم توسط طرفداران الگوریتمهای سنتی به سخره گرفته میشد.
بازگشت به دوران طلایی یادگیری ماشین
برای درک اهمیت شبکههای باور عمیق (DBN)، باید شرایط حاکم بر سالهای 1986 تا 2006 را بررسی کرد. پس از اثبات کارایی الگوریتم پسانتشار خطا (Backpropagation) در سال 1986، شبکههای عصبی برای مدتی کوتاه مورد توجه قرار گرفتند و منجر به توسعه مدلهایی نظیر LeNet و LSTM شدند. با این حال، از سال 1995 به بعد، با معرفی ماشینهای بردار پشتیبان توسط ولادیمیر وپنیک و ارائه الگوریتمهایی نظیر AdaBoost و جنگلهای تصادفی، کمیتهای علمی علاقه خود را به شبکههای عصبی از دست دادند.
در اوایل دهه 2000، ارائه مقالات مرتبط با شبکههای عصبی در کنفرانسهای معتبری چون NIPS و ICML تقریباً به معنای پذیرش قطعی نبود. لکان، بنجیو و هینتون بعدها در شوخی آیرونیکی اشاره میکردند که در آن دوران، تنها راه برای پذیرفتهشدن مقاله در این کنفرانسها، تغییر نام «شبکه عصبی» به «روش هستهای» بود؛ گفتهای که هینتون آن را در سخنرانی دریافت جایزه تورینگ خود در سال 2018 نیز بازگو کرد.
سه چالش فنی بزرگ شبکههای عصبی
مخالفت جامعه علمی با معماریهای عمیق بر پایه سه چالش اساسی استوار بود:
- محو شدن گرادیانها (Vanishing Gradients): در شبکههای عمیق سیگمویدی، با افزایش تعداد لایهها به بیش از پنج سطح، اندازه گرادیانها در طول فرآیند یادگیری بهصورت نمایی کاهش مییافت. این پدیده باعث میشد لایههای اولیه اصلا بهروزرسانی نشوند و تابع زیان پس از چند دوره آموزشی ثابت بماند.
- بیشبرازش (Overfitting): با توجه به محدودیت حجم دادهها در آن مقطع زمانی (حداکثر 60 هزار نمونه در مجموعه MNIST)، آموزش شبکههایی با میلیونها پارامتر و بدون تکنیکهای منظمسازی مدرن، منجر به حفظ کردن دادهها به جای یادگیری الگوها میشد.
- چشمانداز بهینهسازی نامحدب: برخلاف SVM که از نظر ریاضی بهینهسازی محدب را تضمین میکرد و همواره به سراغ بهینه سراسری میرفت، شبکههای عصبی در فضاهای پُربُعدی گیر افتاده و تنها به کمینههای محلی دست مییافتند. این ضعف تئوریک، آماردانان را از این الگوها دور میکرد.
احیای پنهان اما قطعی هوش مصنوعی
هینتون با معرفی تکنیک پیشآموزش لایهبهلایه، نشان داد که میتوان با مقداردهی اولیه هوشمندانه وزنها، چالش محوشدن گرادیانها را دور زد و شبکههای عمیق را به ثبت رکوردهای جدید رساند. این موفقیت عملی، پایههای فکری محققان را برای بازگشت به الگوی شبکههای مصنوعی متقاعد کرد و شعله افکار عمیق را در میان خاکسترهای زمستان هوش مصنوعی روشن نگه داشت تا اینکه فناوریهای سختافزاری مدرن، ظرفیت واقعی این الگوریتمها را به جهان نشان دادند.
