معرفی نسخه اولیه DALL-E توسط OpenAI در ژانویه ۲۰۲۱ نقطه عطفی در تعامل ماشین با هنر بصری رقم زد؛ توانایی خلق تصاویر مستقیم از توصیفات متنی. با این حال، تنها یک سال بعد، جانشین آن یعنی DALL-E 2 با معماری کاملاً متفاوتی وارد بازار شد. این نسخه به جای اتکا به ترنسفورمرهای خودبازگشتی (Autoregressive)، از مدلهای انتشار (Diffusion) بهره برد و نتایجی را رقم زد که مسیر کل صنعت تولید تصویر را دگرگون کرد.
تغییر پارادایم از پیکسلهای خودبازگشتی به مدلهای انتشار
برای درک عظمت این جهش فناورانه، باید محدودیتهای نسخه نخست را بررسی کرد. DALL-E اصلی تصاویر را پیکسلبهپیکسل و بر اساس الگوی اسکن خطی تولید میکرد. هرچند این روش حقانیت مفهوم «متن به تصویر» را ثابت کرد، اما در حفظ انسجام جامع تصویر ناتوان بود. بخشهای مختلف یک تصویر ممکن بود به صورت مجزا باورپذیر باشند، اما ترکیب نهایی آنها حسی مصنوعی القا میکرد.
این معماری قدیمی در نورپردازی یکپارچه و پیادهسازی دقیق آناتومی انسان یا حیوانات عملکرد ضعیفی داشت. افزون بر این، ماهیت ترتیبی پردازش متنها با ساختار دوبعدی و فضاآگاه تصاویر همخوانی کاملی نداشت. کاربران برای اصلاح کوچکترین جزئیات یا حذف یک عنصر ناخواسته، چارهای جز بازنویسی کامل پرامپت و تولید دوباره تصویر نداشتند؛ فرایندی که اغلب با از دست رفتن ویژگیهای مطلوب تصویر پیشین همراه بود.
تلفیق CLIP و فرایند انتشار برای خلق هنر دیجیتال
DALL-E 2 در آوریل ۲۰۲۲ محدودیتهای پیشین را با ترکیب دو فناوری قدرتمند در یک سامانه واحد شکست داد. نخستین رکن، مدل CLIP بود که همترازی معنایی میان متن و تصویر را با رمزگذاری عمیق مفاهیم فراهم میکرد. رکن دوم، مدلهای انتشار بودند که با نویززدایی گامبهگام، تصاویری با وفاداری بصری بالا خلق میکنند.
هسته نوآوری DALL-E 2 در توانایی مدل انتشار برای استفاده از هدایتهای مدل CLIP نهفته بود. این ترکیب مهارشده باعث شد تصاویر نهایی دقیقاً منطبق بر توصیف متنی بوده، اما در عین حال کیفیتی کاملاً واقعگرایانه و منسجم داشته باشند. این تغییر رویه، کنترل و انعطافپذیری خروجیها را به شکل بیسابقهای ارتقا داد.
- ترمیم درونتصویری (In-painting): قابلیت ویرایش نواحی خاص، رتوش و پر کردن بخشهای گمشده تصویر بدون نیاز به خلق مجدد کل قاب.
- تولید نسخههای متنوع: ایجاد تفاسیر بصری مختلف از یک مفهوم واحد برای کاوش خلاقانهتر.
- ارتقای چشمگیر کیفیت: دستیابی به وضوحی چهار برابر بیشتر از نسل اول، به لطف معماری مبتنی بر نویززدایی تکرارشونده.
شکاف کیفیت در آینه آمار و ارقام
برتری بصری DALL-E 2 صرفاً یک ادعا نبود. ارزیابیهای دقیق نشان داد ارزیابان انسانی در 71.7 درصد موارد، تطابق کپشن و خروجی بصری این سامانه را نسبت به نسل اول ترجیح دادند. اختلاف در زمینه واقعگرایی بصری و طبیعی بودن تصویر بسیار شگفتانگیزتر بود؛ چرا که کاربران در 88.8 درصد مواقع کیفیت DALL-E 2 را برای شبیهسازی عکاسی حرفهای برگزیدند.
این آمارها به وضوح نشان میدهند که معماری انتشار تا چه حد توانسته فاصله کیفی میان گرافیک تولیدشده توسط کامپیوتر و آثار ثبتشده با دوربینهای حرفهای را از میان بردارد.
پیشینه پژوهشی و نقشه راه GLIDE
پیدایش این فناوری شکستن ناگهانی نبود. مسیر توسعه مدلهای انتشار برای خلق تصاویر واقعگرایانه، پیشتر با معرفی الگوریتمی به نام GLIDE (انتشار هدایتشده زبان به تصویر) در دسامبر ۲۰۲۱ هموار شده بود. مقالات پژوهشی محققانی چون الکس نیکول، پایههای تئوریک DALL-E 2 را شکل دادند و نشان دادند چگونه میتوان هدایتهای متنی را مستقیماً در فرایند تصفیه نویزها اعمال کرد تا نتایج مطلوبتری حاصل شود.
