رویداد Google I/O در 18 اردیبهشت 1400 (می 2021) بیش از یک نمایش فناوری بود؛ گوگل با رونمایی از LaMDA، مرزهای مدلهای زبانی را جابجا کرد. این پروژه که نام آن مخفف «مدل زبانی برای کاربردهای گفتوگومحور» (Language Model for Dialogue Applications) است، توسط تیم Google Brain توسعه یافت و وعده داد گفتوگوهای انسانی را به شیوهای بیسابقه شبیهسازی کند. تفاوت اصلی LaMDA با رقبای خود در این بود که بهجای انطباق مدلهای متنی همهمنظوره بر چت، از پایه برای گفتوگوی باز و بدون محدودیت مهندسی شد.
گرهی که LaMDA باید باز میکرد
گفتوگوی انسانی ساختار خطی ندارد. یک سفر ذهنی از نقد یک فیلم ممکن است ناگهان به بحث درباره فرهنگ کشور سازنده آن و سپس به دستور پخت غذاهای محلی ختم شود. چتباتهای سنتی در این مسیرهای پیچیده و منحرفشده از مسیر اصلی، بهسرعت فلج میشوند چون بر پایه درخواست-پاسخهای ازپیشتعریفشده کار میکنند. فرض بنیادین توسعهدهندگان LaMDA این بود که یک مدل زبانی صرفاً باید بر روی دادههای مکالمهای آموزش ببیند تا توانایی درک این جریان آزاد و نامحدود موضوعی را بهدست آورد.
تبار ساختاری؛ از Meena تا LaMDA
این فناوری یکشبه متولد نشد. پیش از LaMDA، گوگل چتبات Meena را با 2.6 میلیارد پارامتر معرفی کرده بود. Meena یک مدل ترنسفورمر توالیبهتوالی بود که روی 341 گیگابایت گفتوگوهای شبکههای اجتماعی آموزش دید. این پروژه دو دستاورد کلیدی داشت که مستقیماً به DNA معماری LaMDA راه یافت:
- معیار میانگین معقولبودن و اختصاصیبودن (SSA): سیستمی برای ارزیابی انسانی که میسنجد آیا پاسخ مدل در بافت گفتوگو منطقی و دقیق است یا کلیگویی محض. Meena در این معیار 79 درصد امتیاز گرفت (در برابر 86 درصد انسان).
- همبستگی قوی میان SSA و پریپلکسیتی (با ضریب R² برابر با 0.93): این یافته ثابت کرد کاهش سردرگمی مدل در پیشبینی متن، مستقیماً به مکالمه طبیعیتر منجر میشود.
با افزایش توان محاسباتی و دامنه پروژه، Meena به LaMDA تغییر هویت داد و گوگل لایههای تنظیم دقیق و ایمنی را برای تبدیل آن به یک مدل تجاری به آن افزود.
قلب تپنده معماری؛ ترنسفورمرِ فقطرمزگشا
مانند BERT و GPT-3، زیربنای LaMDA معماری ترنسفورمر (Transformer) است. اما برخلاف بسیاری از همتایان خود، این مدل تنها از بخش رمزگشا (Decoder-only) تشکیل شده و مستقیماً بر روی 1.12 میلیارد گفتوگو و 2.97 میلیارد سند متنی آموزش دیده است. این پیکره عظیم دادهای شامل 13.39 میلیارد گفته و در مجموع 1.56 هزار میلیارد واژه بود.
بزرگترین نسخه LaMDA با 137 میلیارد پارامتر غیرتعبیهای (Non-embedding) طراحی شده است؛ جهشی چشمگیر نسبت به ظرفیت 2.6 میلیاردی Meena. تمرکز انحصاری بر دادههای مکالمهای باعث شد مدل ظرافتهای پنهان در دیالوگهای انسانی را بیاموزد که در مدلهای مبتنی بر متن خام وب یافت نمیشود.
هدفگذاری سهگانه؛ کیفیت، ایمنی و اعتبار
معماری LaMDA حول سه ستون اصلی در فاز تنظیم دقیق (Fine-tuning) سازماندهی شده است که رفتار مدل را در دنیای واقعی مهار میکند.
1. کیفیتی برای گفتوگوی انسانی
مدل باید پاسخی دهد که معقول (Sensibleness)، اختصاصی (Specificity) و جذاب (Interestingness) باشد. این سامانه اطمینان حاصل میکند که مدل نهتنها بهدرستی به سوال پاسخ میدهد، بلکه از کلیگویی پرهیز کرده و مکالمه را با ارائه اطلاعات جالب پیش میبرد.
2. اتصال به واقعیت (Groundedness)
یکی از بزرگترین چالشهای مدلهای زبانی، توهم (Hallucination) است. گوگل برای حل این مشکل، سازوکار Groundedness را طراحی کرد. این سیستم مدل را ملزم میکند تا پاسخهای خود را با جستوجو در منابع معتبر بیرونی تایید کند. اگر کاربری درباره آخرین اخبار یک رویداد بپرسد، LaMDA باید پاسخ خود را مستند کند تا دقت اطلاعات تضمین شود.
3. سیستمهای ایمنی (Safety)
گوگل لایهای از فیلترهای امنیتی را برای جلوگیری از تولید محتوای سمی، تبعیضآمیز یا خطرناک در LaMDA تعبیه کرد. این فرایند تنظیم دقیق، ارزشهای انسانی را در مدل نهادینه میکند و مرزهای امنیتی مدل را برای تعاملات تجاری و عمومی مشخص میسازد.
LaMDA پلی بود میان چتباتهای ابتدایی و دستیارهای هوشمند امروزی. با گذر از مدلهای همهمنظوره به سمت معماریهای تخصصی مکالمهای، گوگل نشان داد که آینده هوش مصنوعی صرفاً در خواندن متنهای بزرگ نیست، بلکه در فهم ظرافتهای انسانی در گفتوگوی روزمره نهفته است.
