تشخیصدهندههای محبوب متن هوش مصنوعی در شرایط عادی با دقتی نزدیک به ۱۰۰ درصد عمل میکنند، اما تحقیقات جدید نشان میدهد که تقلید سبک نوشتاری یک نویسنده خاص میتواند تا یکپنجم متون تولیدی را از دید این ابزارها پنهان کند. در این میان، نوشتار علمی آسیبپذیرترین حوزه است.
یک تیم تحقیقاتی از Epoch AI سه مورد از پرکاربردترین تشخیصدهندههای متن هوش مصنوعی یعنی Pangram (نسخه 3.3.2)، GPTZero (مدل 2026-05-11-base) و Originality.ai (Turbo 3.0.2) را آزمایش کردند. این آزمایش سه دسته را پوشش میداد: نوشتار واقعی انسانی، متن هوش مصنوعی تولیدشده از دستورهای ساده، و متن هوش مصنوعی که عمداً سبک یک نویسنده خاص را تقلید میکرد.
بدنه آزمایش: ۴۹۵ متن انسانی از ۹۹ نویسنده
محققان مجموعهای از ۴۹۵ قطعه متن انسانی از ۹۹ نویسنده را گردآوری کردند که به طور مساوی بین وبلاگنویسی، داستاننویسی و نوشتار علمی تقسیم شده بود. همه این متون پیش از انتشار ChatGPT در نوامبر ۲۰۲۲ نوشته شده بودند تا هیچ آلودگیای توسط مدلهای زبانی وجود نداشته باشد.
عملکرد عالی در شرایط استاندارد
هنگام مواجهه با متن ساده تولیدشده توسط هوش مصنوعی، هر سه تشخیصدهنده تقریباً بیعیب عمل کردند و نرخ منفی کاذب حداکثر ۰.۷ درصد بود. متون انسانی نیز تا حد زیادی به درستی طبقهبندی شدند. Pangram و GPTZero هیچ هشدار اشتباهی صادر نکردند، اما Originality.ai از میان ۴۹۵ متن انسانی، ۱۹ مورد را به اشتباه تولیدشده توسط هوش مصنوعی تشخیص داد که نرخ مثبت کاذب ۳.۸ درصدی را رقم زد.
تقلید سبک؛ تهدیدی جدی برای تشخیص
نتیجه زمانی به کلی تغییر میکند که مدلهای زبانی نمونههای نوشتاری یک نویسنده را به عنوان مرجع دریافت کنند. در این آزمایش، سه مدل پیشرو Claude Opus 4.8، GPT-5.5 و Gemini 3.1 Pro هر کدام پنج قطعه متن واقعی از یک نویسنده دریافت کردند و مأمور شدند متنی جدید با همان سبک بنویسند.
از مجموع ۲۹۷ قطعه متن تولیدشده به این روش، به طور میانگین ۳۸ مورد شناسایی نشدند که معادل نرخ منفی کاذب ۱۳ درصد است. Pangram ۱۰ درصد از متون تقلیدی را از دست داد، GPTZero ۱۱ درصد و Originality.ai ۱۸ درصد.
شکست بزرگ در نوشتار علمی
برای داستاننویسی، نرخ منفی کاذب تنها ۱ تا ۵ درصد بود، اما نوشتار علمی داستان متفاوتی داشت. Pangram ۲۵ درصد از متون علمی آکادمیک با تقلید سبک را تشخیص نداد، GPTZero ۲۴ درصد و Originality.ai ۲۹ درصد.
بدترین نتایج فردی در ترکیبهای خاص مدل و ژانر در نوشتار علمی مشاهده شد. بر اساس دادههای منتشر شده، Pangram ۴۸ درصد از قطعات آکادمیک تولیدشده توسط Gemini را از دست داد و در Originality.ai نیز ۳۹ درصد از متون آکادمیک تولیدشده توسط GPT-5.5 شناسایی نشدند.
چرا این ابزارها ناتوان میشوند؟
هر یک از این تشخیصدهندهها از روش متفاوتی استفاده میکنند. Pangram از یک شبکه عصبی آموزشدیده بر روی متن انسانی و ماشینی بهره میبرد. GPTZero میزان قابلپیشبینی بودن انتخاب کلمات و تغییرپذیری آن را در یک متن اندازهگیری میکند. Originality.ai به دنبال الگوهای آماری یادگرفتهشده در طول آموزش میگردد.
با وجود این تفاوتها، هر سه الگوی مشابهی را نشان میدهند: آنها متون حاصل از دستورهای ساده را تقریباً در همه موارد میگیرند، اما تقلیدهای سبکی را بسیار بیشتر از دست میدهند. نوشتار علمی که احتمالاً بیشترین کاربرد واقعی را در تشخیص هوش مصنوعی دارد، همچنان سختترین حوزه برای علامتگذاری صحیح باقی مانده است.
آزمایش قبلی Authors Guild
یک آزمایش قبلی از Authors Guild نشان داد که Pangram و Originality.ai متون انسانی را به طور قابل اعتماد طبقهبندی میکنند، اما یافتههای جدید Epoch AI زنگ خطر را برای استفاده از این ابزارها در محیطهای آکادمیک به صدا درآورده است.
