صنعت هوش مصنوعی سالها بر روی پیشبینی کلمات یا تکمیل اطلاعات گمشده متمرکز بوده است؛ رویکردی که با ظهور ترانسفورمرهای عظیم به اوج رسید. اما با ورود این فناوری به حوزههای ساختاریافتهتر مانند زیستشناسی، محدودیتهای مدلهای مولد متن به وضوح خود را نشان میدهند. انویدیا اکنون مسیر متفاوتی را در پیش گرفته و مدل
JEPA-DNA را برای رفع این کاستیها معرفی کرده است.
این مدل ژنومیکی پایه، به تازگی در پلتفرم
Hugging Face منتشر شده و یک هدف پیشبینی در فضای پنهان (Latent-space) را در کنار مدلسازی زبانی پوشانده (MLM) قرار میدهد. این حرکت، پیروزی برای معماریهای ترکیبی است که از آموزش صرفاً مولد فراتر میروند؛ رویکردی که یان لکون (Yann LeCun)، رئیس هیئت مدیره AMI Labs و دانشمند ارشد سابق هوش مصنوعی
متا، سالها از آن دفاع کرده است. پژوهشگران اکنون این معماریهای پیشبینانه را به عنوان جایگزینی کلی برای پیشبینی توکن بعدی در زیستشناسی به کار میبندند.
چالش مدلهای مرسوم در درک ژنوم
مدلهای پایه ژنومیکی تا به حال رفتاری مشابه مدلهای
پردازش زبان طبیعی (NLP) داشتند. آنها بخشهایی از یک توالی DNA را پوشانده و مدل را مجبور میکردند تا توکنهای تحتاللفظی گمشده را حدس بزنند. این روش بازسازی توکنهای محلی را ترجیح میدهد و سینتکس ساده توالی را به مدل میآموزد، اما اغلب در درک معنای عملکردی و گستردهتر ناکام میماند.
JEPA-DNA این پارادایم را تغییر میدهد. چکپوینت تازه منتشر شده با نام JEPA-DNA-DNABERT2، به عنوان یک چارچوب پیشآموزش مستمر و مستقل از مدل عمل میکند. این معماری مدلسازی زبانی DNA در سطح توکن را با JEPA ترکیب کرده و یک هدف یادگیری دوم را به فرآیند اضافه میکند.
فضای پنهان به جای توکنهای تحتاللفظی
به جای مجبور کردن مدل به بازسازی توکنهای از قلم افتاده، JEPA-DNA embedding توالی کلی را در یک فضای پنهان نظارت میکند. این ساختار به جای پیشبینی ترکیب تحتاللفظی و کاراکتر به کاراکتر، نمایش عملکردی قطعات ژنومیکی پوشانده شده را پیشبینی میکند.
پیشبینی توکن همچنان بخشی از فرآیند آموزش است، اما دیگر تنها هدف مدل نیست. ساختار اولیه دادهها نیز بررسی میشود و این موضوع ثابت میکند که معماریهای پیشبینانه میتوانند بازنماییهایی تولید کنند که کار با آنها برای وظایف زیستی آسانتر است، بدون آنکه قابلیتهای مولد فدا شوند.
ارتقای DNABERT-2 با رویکرد انویدیا
این مدل روی بستر DNABERT-2، یک مدل 117 میلیون پارامتری توسعه یافته توسط ژیهان ژو و همکارانش ساخته شده است.
انویدیا رویکرد پیشآموزش مستمر خود را بر روی این معماری لایهبندی کرده تا مدل هم از پیشبینیهای سطح توکن و هم از بازنماییهای فضای پنهان بیاموزد.
شرایت این مدل را به صورت جهانی برای تحقیقات غیرتجاری در دسترس قرار داده است. هدف این ابزار پشتیبانی از جریانهای کاری پژوهشی مانند استخراج ویژگی، کاوش خطی، آزمایشهای پیشآموزش مستمر و امتیازدهی بدون شات (Zero-shot) به تغییرات توالی DNA است. البته این مدل یک ابزار تشخیصی یا محصول پزشکی معتبر بالینی نیست.
DNA حاوی الگوها و روابطی است که با پیشبینی ساده توالی به دست نمیآیند. ترکیب پیشبینی توکن پوشانده با هدفگذاری در فضای پنهان، اطلاعات گستردهتری را در سطح توالی ثبت میکند. مدلهایی در این دسته مسیر تازهای را پیش روی هوش مصنوعی باز میکنند که در آن پیشبینی توکن با روشهای دیگر یادگیری ترکیب شده و به سیستمها برای درک عمیقتر پیچیدگیهای حیاتی کمک میکند.
