کمتر مجموعه‌داده‌ای در تاریخ هوش مصنوعی جایگاهی هم‌سطح پایگاه داده MNIST دارد. این مجموعه که دهه‌هاست به‌عنوان نقطه شروع و «سلام دنیا»ی پروژه‌های طبقه‌بندی تصویر شناخته می‌شود، ریشه‌های جالبی دارد که از کدهای پستی شهر بوفالو تا فرم‌های سرشماری ایالات متحده را در بر می‌گیرد.

داستان این مجموعه‌داده با تصاویر خاکستری و مرتب 28×28 پیکسلی که پژوهشگان امروز با آن‌ها کار می‌کنند آغاز نشد. پیدایش این استاندارد طلایی، تابلویی از تلاش‌های میدانی در اواخر دهه 1980 برای توسعه سامانه‌های بازشناسی نوری نویسه‌ها (OCR) است.

ساختار فنی و بنیان MNIST

پایگاه داده اصلاح‌شده مؤسسه ملی استانداردها و فناوری (MNIST) مجموعه‌ای متشکل از 70,000 تصویر خاکستری است که به دو بخش 60,000 تصویر برای آموزش و 10,000 تصویر برای آزمایش تقسیم می‌شود. هر تصویر نمایانگر یک رقم دست‌نویس بوده که اندازه آن نرمال‌سازی و در مرکز یک قاب ثابت قرار گرفته است. این استانداردسازی باعث می‌شود هر تصویر دقیقاً 784 ویژگی عددی داشته باشد که آن را به بستر ایده‌آلی برای سنجش دقت الگوریتم‌های یادگیری ماشین تبدیل می‌کند.

این مجموعه در قالب چهار فایل فشرده با فرمت IDX توزیع می‌شود:

  • train-images-idx3-ubyte.gz (تصاویر مجموعه آموزشی - حدود 9.9 مگابایت)
  • train-labels-idx1-ubyte.gz (برچسب‌های آموزشی)
  • t10k-images-idx3-ubyte.gz (تصاویر مجموعه آزمایشی - حدود 1.6 مگابایت)
  • t10k-labels-idx1-ubyte.gz (برچسب‌های آزمایشی)

جالب است بدانید نسخه اولیه این مجموعه کاملاً بی‌نقص نبوده و حداقل ۴ برچسب اشتباه در آن یافت شده است؛ موضوعی که نشان می‌دهد حتی مرجع‌ترین داده‌های علمی نیز ممکن است دارای خطای انسانی باشند.

نمونه‌ای از ارقام دست‌نویس در پایگاه داده MNIST

پیش‌درآمدی بر یک انقلاب مجموعه‌داده USPS در سال 1988

ریشه‌های اصلی این مجموعه به سال 1988 بازمی‌گردد. در آن زمان نیاز به اتوماسیون سیستم‌های پستی باعث شد تا مجموعه‌داده‌ای از ارقام استخراج‌شده از نامه‌های اداره پست ایالات متحده (USPS) در شهر بوفالو گردآوری شود. این داده‌ها شامل تصاویر 16×16 پیکسلی از کدهای پستی دست‌نویس بودند.

این مجموعه اولیه که شامل 7,291 تصویر آموزشی و 2,007 تصویر آزمایشی بود، به دلیل ناخالصی، نویز و ابهام در دست‌خط‌ها، چالش جدی برای الگوریتم‌های آن دوره محسوب می‌شد. جالب اینکه در ارزیابی‌های اولیه، حتی انسان‌ها نیز نرخ خطایی حدود 2.5 درصد در تشخیص این ارقام داشتند. از این داده‌ها برای آموزش LeNet در سال 1989 استفاده شد؛ یکی از نخستین شبکه‌های عصبی کانولوشنی (CNN) که توسط یان لکان توسعه یافت و پایه‌های یادگیری عمیق امروزی را بنا نهاد.

تولد NIST از فرم‌های سرشماری تا دیسک‌های فشرده

در اواخر دهه نود میلادی، اداره سرشماری ایالات متحده برای دیجیتالی‌سازی فرم‌های دست‌نویس به دنبال راهکارهای هوشمند بود. این نیاز منجر به تشکیل گروهی برای ارزیابی سامانه‌های OCR و تولید سری پایگاه‌های داده ویژه (Special Databases) شد. سه مورد از این پایگاه‌های داده شامل SD-1، SD-3 و SD-7 اساسی‌ترین نقش را در شکل‌گیری MNIST امروزی ایفا کردند.

گردآوری این داده‌ها با توزیع فرم‌های نمونه دست‌خط (HSF) میان کارکنان اداره سرشماری انجام می‌شد. هر فرم شامل 34 فیلد متفاوت برای ثبت اطلاعات بود و پس از تکمیل، با وضوح 300 نقطه در اینچ اسکن و نویسه‌های آن تفکیک می‌شد.

نمونه فرم‌های دست‌خط استفاده شده در سرشماری برای استخراج داده‌ها

چرا MNIST تا این حد اهمیت دارد؟

ترکیب تصاویر استخراج‌شده از کارکنان بزرگسال سرشماری (که دست‌خط منظم‌تری داشتند) با تصاویر گردآوری‌شده از دانش‌آموزان دبیرستانی (با دست‌خط‌های نامنظم)، تنوع بی‌نظیری را ایجاد کرد. این تضاد، مجموعه‌داده نهایی را به آزمایشگاهی واقعی برای سنجش مقاومت الگوریتم‌ها در برابر شرایط سخت و متغیر تبدیل کرد. استانداردسازی نهایی این داده‌ها در قالب تصاویر 28×28 پیکسلی، نقطه عطفی بود که امکان اجرای سریع الگوریتم‌ها را روی سخت‌افزارهای آن زمان فراهم کرد.

تا امروز، با وجود ظهور مجموعه‌داده‌های مدرن‌تر و چالشبرانگیزتری نظیر CIFAR-10 یا ImageNet، MNIST همچنان نقطه شروع و ابزار دیباگ پایه برای محققان یادگیری عمیق باقی مانده است. این میراث پایدار نشان می‌دهد که چگونه یک زیرساخت داده با اندازهگیری دقیق می‌تواند مسیر تحول تکنولوژی را برای دهه‌ها تسهیل کند.