مفهوم پایه: بردارها به جای نمادها
در هسته پردازش زبان طبیعی، کلمات وقتی به صورت نمادهای مستقل یا کدهای یکبه یک (one-hot) در نظر گرفته میشوند، هیچ ارتباط معنایی با هم ندارند. word2vec این محدودیت را با نگاشت هر کلمه به یک فضای برداری چندبعدی مرتفع میکند. اصل حکم این است: کلماتی که در بافتهای مشابه به کار میروند، معنای نزدیکی دارند. مدل با قرار دادن این واژگان در یک فضای ریاضی پیوسته، کاری میکند که کلمات هممعنا یا مرتبط، در فاصلهای بسیار نزدیک به یکدیگر جای بگیرند و کلمات نامرتبط، در نقاط دوردست فضای برداری پراکنده شوند.
این نزدیکی با استفاده از معیار شباهت کسینوسی محاسبه میشود. الگوریتمها بدون نیاز به دایرهالمعارفهای دستساز، روابط زبانی را حدس میزنند. برای مطالعه ریاضیات پشت این تکنیک میتوانید به مقاله بنیادین میکولوف و همکاران مراجعه کنید.
معماری دووجهی: CBOW و Skip-Gram
زیربنای این پدیده بر دو شبکه عصبی کاملاً کمعمق (دو لایه) بنا شده است که با سادگی در طراحی، بازدهی فوقالعادهای در یادگیری نشان میدهند.
مدل CBOW: تکمیل جای خالی
در معماری Continuous Bag-of-Words، شبکه تلاش میکند کلمه هدف را با جمعزدن بردارهای کلمات همسایه پیشبینی کند. ورودی این سیستم کدهای یکبهیک کلمات بافت است و خروجی آن توزیع احتمالی کل واژگان مدل میباشد. نکته کلیدی اینجاست که ترتیب کلمات در این بخش بیاهمیت تلقی میشود و مدل صرفاً به حضور کلمات در یک خوشه معنایی واکنش نشان میدهد.
معماری Skip-Gram: استخراج بافت از دل کلمه
برعکس حالت قبل، Skip-gram کلمه هدف را میگیرد و سعی میکند کلمات محیطی آن را بازسازی کند. این روش دادههای غنیتری از بافت متنی استخراج کرده و معمولاً در مجموعهدادههای کوچکتر عملکرد پایدارتری نشان میدهد. هر دو معماری پس از پایان دوره آموزش، نقشهای دقیق از فضای معنایی زبان ارائه میدهند.
تایملاین انتشار و چرخش بزرگ در پژوهش
کدهای این پروژه در تاریخ 29 جولای 2013 تحت مجوز Apache-2.0 برای عموم منتشر شد. این حرکت سریعاً به سوختی برای جامعه پژوهشی تبدیل شد. محققان دیگر مجبور نبودند از ابتدا چرخ را اختراع کنند و به جای آن به تمرکز روی کارایی مدلها و بهینهسازی روشهای نمونهبرداری منفی مشغول شدند. این پلتفرم رایگان، پایه و اساس بسیاری از ابزارهای مدرن پردازش زبان طبیعی را بنا نهاد و مسیر پیشرفت هوش مصنوعی به سمت درک عمیق متن را هموار کرد.
ورود بردارهای واژگانی به عرصه رایانش، مرزهای بین رمزگذاری سنتی و درک سیال زبان را از میان برداشت. اگر امروزه مدلهای زبانی بزرگ در حال خواندن و تفسیر متون پیچیده هستند، ردپای معماری کمعمق و سریع میکولوف و تیم گوگل در لایههای پنهان الگوریتمهای امروزی به وضوح دیده میشود. آینده این حوزه همچنان به سمت پیوند عمیقتر بردارهای سیال با درک پویای مفاهیم بشری حرکت خواهد کرد.
