معرفی BERT و تغییر پارادایم در پردازش زبان طبیعی
پژوهشگران گوگل در اکتبر 2018 مدلی را معرفی کردند که مسیر پردازش زبان طبیعی (NLP) را برای همیشه دگرگون کرد. BERT یا «بازنماییهای رمزگذار دوسویه از ترنسفورمرها»، با شکستن رکوردهای پیشین در 11 وظیفه جداگانه، استانداردهای جدیدی را برای نحوه خواندن و تفسیر متن توسط ماشینها تعریف کرد. این پروژه در قالب مقالهای در arXiv منتشر و نسخه عمومی آن با مجوز Apache 2.0 در دسترس قرار گرفت.
این مدل صرفاً یک بهبود تدریجی نبود؛ بلکه یک جهش کیفی در درک کامپیوتری از زبان انسان محسوب میشد. BERT توانست ارتباط معنایی کلمات را در یک جمله بهطور همزمان و از هر دو سمت بررسی کند و محدودیتهای مدلهای قبلی را از بین ببرد.
معماری صرفاً رمزگذار و درک بافت کامل
در هسته خود، BERT یک مدل زبانی توسعهیافته توسط Google AI است که با استفاده از یادگیری خودنظارتی، متن را بهصورت دنبالهای از بردارها بازنمایی میکند. از نظر معماری، این سیستم یک ترنسفورمر «صرفاً رمزگذار» (Encoder-only) است. نوآوری اساسی این مدل در پیشآموزش بازنماییهای عمیق و دوسویه از متنهای بدون برچسب نهفته است؛ بهگونهای که در همه لایهها، بهطور همزمان به بافت سمت چپ و سمت راست وابسته باشد.
در عمل، BERT زبان را همانگونه میخواند که انسانها میخوانند: نه بهصورت جریانی سختگیرانه از کلمات از چپ به راست، بلکه به شکل بافتهایی کامل که در آن هر کلمه از تمام عناصر پیرامون خود تأثیر میگیرد. دستاورد این طراحی بسیار چشمگیر بود. مدل ازپیشآموزشدیده BERT را میتوان تنها با افزودن یک لایه خروجی دیگر، برای طیف گستردهای از وظایف مانند پاسخگویی به پرسشها و استنتاج زبانی ریزتنظیم کرد؛ آن هم بدون نیاز به تغییرات معماری پرهزینه.
محدودیتهای مدلهای پیشین: ELMo و GPT
پیش از ظهور BERT، دو راهبرد غالب برای بهکارگیری بازنماییهای زبانی ازپیشآموزشدیده در وظایف پاییندستی وجود داشت:
- رویکرد مبتنی بر ویژگی: نمونه شاخص آن ELMo بود که از معماریهای اختصاصی هر وظیفه استفاده میکرد و بازنماییهای ازپیشآموزشدیده را بهعنوان ویژگیهای اضافی به کار میبرد.
- رویکرد مبتنی بر ریزتنظیم: نمونه شاخص آن «ترنسفورمر مولد ازپیشآموزشدیده» (OpenAI GPT) بود که با ریزتنظیم همه پارامترها روی وظایف پاییندستی آموزش میدید.
هر دو رویکرد یک ضعف اساسی مشترک داشتند: اتکا به مدلهای زبانی یکسویه در مرحله پیشآموزش. برای نمونه، OpenAI GPT از معماریای چپبهراست استفاده میکرد که در آن هر توکن فقط میتوانست به توکنهای پیشین توجه کند. ELMo نیز از بههمچسبانی سطحیِ مدلهای زبانی چپبهراست و راستبهچپِ مستقل از هم استفاده میکرد؛ یعنی از نظر نام دوسویه بود، اما نه بهصورت عمیق و مشترک. نویسندگان BERT استدلال کردند این محدودیتها برای وظایف سطح جمله بهینه نیستند و هنگام اعمال روی وظایف سطح توکن مانند پاسخگویی به پرسشها، بسیار زیانبار خواهند بود.
جهش بزرگ با پیشآموزش هوشمندانه
BERT با استفاده از دو هدف هوشمندانه در پیشآموزش، محدودیت یکسویگی را برطرف کرد و ترنسفورمرهای عمیق را به واقعیت تبدیل نمود.
مدل زبانی ماسکشده (MLM)
این مدل که از وظیفه Cloze متعلق به تیلور (1953) الهام گرفته است، برخی توکنهای ورودی را بهطور تصادفی ماسک میکند و هدف آن پیشبینی شناسه اصلی واژه در واژگان، تنها بر اساس بافت آن است. اگر جمله «The cat sat on the [MASK]» داده شود، سیستم باید واژه «mat» را پیشبینی کند. برخلاف پیشآموزش مدلهای زبانی چپبهراست، هدف مدل زبانی ماسکشده امکان ادغام بافت سمت چپ و راست را در بازنمایی فراهم میکند و در نتیجه پیشآموزش یک ترنسفورمر عمیق و دوسویه را ممکن میسازد.
پیشبینی جمله بعدی (NSP)
علاوه بر MLM، این سیستم با وظیفه پیشبینی جمله بعدی نیز پیشآموزش داده شد. در این فرآیند، مدل میآموزد بازنماییهای مربوط به جفتمتنها را بهصورت مشترک پیشبینی کند و درک ارتباط منطقی میان دو جمله مجزا را تقویت نماید.
میراث BERT امروز فراتر از یک مقاله علمی در سال 2018 است. این معماری پایهای شد که بسیاری از مدلهای زبانی بزرگ و چتباتهای پیشرفته امروزی بر روی آن بنا شدند و درک ما از تعامل ماشین با زبان انسان را به سطحی کاملا جدید ارتقا داد.
