در ماه مه 2023، مؤسسه پژوهشی مستقر در ابوظبی، مدل زبانی بزرگی را رونمایی کرد که گفتوگوی جهانی درباره سلطه غولهای فناوری بر هوش مصنوعی را دگرگون ساخت. فالکون (Falcon)، خانوادهای از مدلهای زبانی بزرگ متنباز است که توسط مؤسسه نوآوری فناوری (TII) توسعه یافته و بهسرعت جایگاه خود را بهعنوان رقیبی جدی در صنعتی که تا پیش از این در انحصار شرکتهای بزرگ آمریکایی بود، تثبیت کرد.
تنها یک هفته پس از عرضه، نسخه Falcon 40B توانست به رتبه نخست جدول برترین مدلهای زبانی متنباز در Hugging Face دست یابد و امارات متحده عربی را در جمع کشورهای پیشرو در حوزه هوش مصنوعی قرار دهد.
خاستگاه فالکون؛ گذر از اقتصاد نفتی به Sovereignty فناورانه
مؤسسه نوآوری فناوری (TII) در ماه مه 2020 و در راستای راهبرد ابوظبی برای تبدیل شدن به قطبی جهانی در پژوهشهای فناوری پیشرفته تأسیس شد. این نهاد زیر نظر شورای تحقیقات فناوری پیشرفته (ATRC) فعالیت میکند و بودجه آن مستقیماً توسط دولت تامین میشود تا هوش مصنوعی بهعنوان یک اولویت راهبردی برای تنوعبخشی به اقتصاد این کشور ایفای نقش کند.
ساختار TII شامل مراکز پژوهشی تخصصی در حوزههایی نظیر رباتیک خودمختار، رمزنگاری، فناوری کوانتومی و زیستفناوری است. با این حال، توسعه مدلهای زبانی بر عهده مرکز تحقیقات هوش مصنوعی و علوم دیجیتال این مؤسسه گذاشته شده است.
تولد یک غول جدید در مه 2023
نسخههای اولیه Falcon با پارامترهای 7B و 40B برای نخستین بار در ماه مه 2023 معرفی شدند. فالکون 40B که با 40 میلیارد پارامتر و یک تریلیون توکن آموزش دیده بود، نخستین مدل زبانی بومی محسوب میشد که وزنهای آن بهصورت کاملاً آزاد برای استفادههای پژوهشی و تجاری در دسترس قرار گرفت.
ارائه این مدل بدون حق امتیاز و تحت مجوز کاملاً آزاد Apache 2.0، در زمانی انجام شد که مدلهای رقیب نظیر LLaMA متعلق به متا (Meta) از محدودیتهای بسیار بیشتری برخوردار بودند. فالکون چندزبانه است و از زبانهای مختلف اروپایی نظیر آلمانی، اسپانیایی، فرانسوی و ایتالیایی پشتیبانی میکند تا بستری انعطافپذیر برای تنظیم دقیق (Fine-tuning) فراهم کند.
بهرهوری محاسباتی و مهندسی داده
فالکون 40B از نظر مصرف منابع محاسباتی نیز یک شاهکار مهندسی به شمار میرود. این مدل تنها از 75 درصد توان محاسباتی صرفشده برای آموزش GPT-3 استفاده میکند. تیم توسعه برای تضمین کیفیت، خط لوله دادههای سفارشی ایجاد کرد تا با پالایش گسترده و حذف دادههای تکراری، بالاترین کیفیت را در پیشآموزش مدل با استفاده از پنج تریلیون توکن استخراجشده از وب و مقالات علمی تضمین کند.
فلسفه متنباز و آینده هوش مصنوعی
عرضه فالکون نشان داد که توسعه هوش مصنوعی پیشرفته تنها به دره سیلیکون محدود نمیشود. رویکرد متنباز این پروژه به دموکراتیزه کردن فناوری کمک شایانی کرد تا توسعهدهندگان، پژوهشگران و استارتاپهای سراسر جهان بتوانند بدون وابستگی به انحصارات شرکتی، از قدرت مدلهای زبانی بزرگ بهره ببرند. با تکامل نسلهای جدیدتر این مدل، پایههای یک زیستبوم پردازشی مستقل و قدرتمند در خاورمیانه شکل گرفته است که میتواند نقش مهمی در آینده تحقیقات هوش مصنوعی ایفا کند.
