معیار جدید PerceptionBench از گروه Moonshot AI نشان میدهد ادراک بصری مدلهای هوش مصنوعی چندوجهی در وظایف پایهای ضعیفتر از انتظار عمل میکند: هیچ مدل مرزی آزمایششده به دقت 60 درصد در این آزمون نرسید.
روش طراحی معیار
PerceptionBench بینایی را به ده زیرمهارت اتمیک تقسیم کرده تا تشخیص دقیقترِ نقاط ضعف بصری ممکن شود. این زیرمهارتها عبارتاند از: رابطهٔ بصری، شمارش، ویژگیها، عمق و سهبعدی، مکانیابی، مقایسه، تشخیص دقیق، یکپارچهسازی زمینه، خواندن متن (OCR) و توهمسازی. دستهبندی ردهها بر اساس خطاهای واقعی مدلها شکل گرفته و نه صرفاً نظری؛ بیش از 17,000 سؤال داخلی بررسی شد و مجموعهٔ نهایی شامل حدود 3,000 وظیفهٔ منتشرشده است.
طراحی سؤالات و مقتضیات ارزیابی
هر سؤال تنها با نگاه کردن به تصویر و بدون نیاز به دانش بیرونی یا استدلال چندمرحلهای قابل پاسخگویی است. این قید، تحلیل دقیقتر شکستهای مرحلهٔ ادراکی را امکانپذیر میکند و توسعهدهندگان را در تفکیک خطاهای خواندن تصویر از خطاهای استدلال یاری میدهد. پروژه و کد ارزیابی در گیتهاب منتشر شدهاند: MoonshotAI/PerceptionBench.
نتایج کلی و مدلهای برتر
- از بین 16 مدل مرزی آزمایششده، بیشترین دقت کلی 59.7% متعلق به GPT-5.6 Sol بود. به ترتیب بعدی: Kimi K3 با 58.5%، Claude Fable 5 با 57.2% و Gemini 3.1 Pro با 56.2% قرار دارند.
- مدلهای متنباز عملکرد پایینتری نشان دادند؛ بهعنوان نمونه Qwen3.5-397B-A17B به 47.5% و GLM-4.6V به 32.5% رسیدند.
- اختلاف عملکرد در سطح زیرمهارتها چشمگیر است: دو مدل با نمرهٔ کلی نزدیک ممکن است در زیرمهارتهای مشخص، رفتار کاملاً متفاوتی داشته باشند.
توهمسازی؛ ضعیفترین حلقه
ضعف شاخص در زیرمهارت «توهمسازی» مشهود است. میانگین عملکرد در این بخش پایینترین مقدار را دارد. حتی GPT-5.6 Sol—برندهٔ کلی—در این زیرآزمون تنها 26.9% کسب کرد، در حالی که Gemini 3.5 Flash در همین دسته 50.6% نشان داد. آزمون توهمسازی مشخص میکند آیا مدل اشیائی را گزارش میدهد که در تصویر وجود ندارد یا اطلاعات بصری را نادرست تفسیر میکند.
خطای ادراکی یا خطای استدلالی؟
تحلیل PerceptionBench نشان میدهد بسیاری از خطاهایی که قبلاً بهعنوان «خطای استدلال» طبقهبندی میشدند، ریشه در خواندن نادرست تصویر دارند. در وظایف چندمرحلهای، اغلب اولین گامِ ادراکی بهدرستی انجام نمیشود و سپس مراحل بعدی شکست را تشدید میکنند. تفکیک سؤالات به زیرسؤالهای صرفاً ادراکی امکان ردیابی دقیقتر «کدام مهارت بصری» را مختل کرده است.
زمینه پژوهشی
این رویکرد ادامهای بر پژوهشهای پیشین در حوزهٔ پاسخدهی به پرسشهای بصری و بینایی ماشین است. کارهای مرتبط در Visual Question Answering و بینایی کامپیوتری نشان دادهاند که ترکیب وظایف بصری و استدلالی میتواند منشأ بسیاری از خطاها را مبهم کند. تیم Moonshot AI پیش از این معیارهایی مانند WorldVQA و BabyVision را منتشر کرده که نقاط ضعف پایهای مشابهی را افشا کردند.
پیامدها برای توسعهٔ مدلها
- تمرکز توسعه باید فراتر از تقویت تواناییهای زبانی باشد و روی افزایش دقت در «دید» و خواندن دقیق تصویر قرار گیرد.
- معیارهای تفکیکشده مانند PerceptionBench در فرآیند دیباگ و بهینهسازی کارا هستند؛ توسعهدهنده میتواند مشخص کند کدام زیرمهارت نیاز به دادهٔ هدفمند، برچسبزنی متفاوت یا معماری ویژه دارد.
- اعتمادپذیری خروجیهای بصری نباید دستکم گرفته شود؛ کاربردهای حساس به خطا (پزشکی، رانندگی خودران و نظایر آن) نیازمند آزمونهای دقیقتر و معیارهای تخصصی هستند.
گام بعدی
PerceptionBench ابزاری تشخیصی فراهم میکند، اما کاهش شکافهای ادراکی مستلزم دادههای آموزشی تخصصیتر، بهروزرسانی معماریهای بینایی-زبان و توسعهٔ معیارهای سنجش اعتمادپذیری است. پژوهشگران و مهندسان میتوانند از این معیار برای اولویتبندی اصلاحات استفاده کنند؛ انتظار میرود رقابتهای آینده بیش از پیش بر تواناییهای بصری پایه متمرکز شوند.
برای دسترسی به مجموعهٔ داده و کد ارزیابی: github.com/MoonshotAI/PerceptionBench
