پژوهش جدید: دستیارهای کدنویسی زمان را نادرست برآورد میکنند
دو پژوهشگر مستقل در چارچوب برنامهٔ تحقیقاتی MATS روی دو دستیار برنامهنویسی محبوب آزمایشی انجام دادند. یافتهها نشان میدهد عاملهای هوش مصنوعی در تخمین مدت اجرای وظایف و پیگیری زمان سپریشده دقت قابلاعتمادی ندارند. مدلهایی که مورد آزمون قرار گرفتند شامل Claude Code از شرکت Anthropic و Codex از OpenAI بودند. برای مراجعه بیشتر به تحلیل معماری عاملها میتوانید این بررسی را ببینید: عاملهای هوش مصنوعی.
روش آزمایش و مجموعه دادهها
فرایند آزمایش به این صورت بود: پیش از هر وظیفه از عاملها خواسته شد مدت لازم برای انجام آن را برآورد کنند. سپس عاملها وظیفه را اجرا کردند و پس از پایان، دوباره گزارش دادند چه مقدار زمان گذشته است. مجموعه دادهها شامل 200 وظیفه از ProgramBench و 18 بنچمارک ساختهشده توسط تیم پژوهشی بود.
نتایج کلیدی
- برآوردهای ثابتِ بیشازحد: در مجموعهٔ ProgramBench هر دو مدل تقریباً همیشه حدود 90 دقیقه را حدس زدند، بیآنکه دشواری واقعی وظایف تأثیر چشمگیری داشته باشد.
- خطاهای بزرگ در برآورد پس از اجرا: در مرحلهٔ گزارش پسین، میانگین خطا برای Claude حدود 3 برابر و برای Codex بین 6 تا 10 برابر بود؛ بزرگترین خطاها در وظایف کوتاه رخ داد.
- وابستگی به چارچوب اجرایی (harness): همان مدل در harnessهای مختلف رفتار کاملاً متفاوتی نشان داد؛ Claude Code بهطور معمول تا حدود 90 دقیقه ادامه میدهد، اما Codex معمولاً پس از حدود 30 دقیقه متوقف میشود.
چرا چارچوب اجرایی اهمیت دارد
یک مدل میتواند در یک harness حدود 2.5 برابر گامهای بیشتری نسبت به harness دیگر بردارد. این نتیجه تأکید میکند که زمان اجرا و رفتار عاملها تنها تابع معماری مدل نیست؛ نرمافزار پیرامونی، پارامترهای اجرا و سیاستهای توقف نقش تعیینکنندهای دارند.
خودارزیابی خروجی: اعتماد کاذب
عاملها در ارزیابی کیفیت خروجی خود نیز قابلاعتماد نبودند. مدلهای قدیمیتر مانند Opus 4.8 و GPT-5.5 میانگین نمرهٔ خود را حدود 20 امتیاز بهتر از واقعیت ارزیابی کردند و حتی در وظایف ناموفق نیز نمرات بالایی گزارش شد. در یک نمونه، هر دو مدل خود را تقریباً 70 درصد موفق دانستند در حالی که نمرهٔ واقعی به ترتیب 7 و 14.5 درصد بود.
راهکار مؤثر: افزودن ابزار زمانسنج
وقتی عاملها به ابزارهایی دسترسی پیدا کردند که زمان گذشته را گزارش میداد، تقریباً در تمام موارد توانستند مدت اجرای واقعی را بهدرستی اعلام کنند. این پدیده نشان میدهد فقدانِ «حس زمان» در عاملها تا حد زیادی ناشی از نبود ابزار و دادههای زمانمند است، نه یک محدودیت ذاتی غیرقابلرفع.
ارتباط با ادراک زمان در انسان
این رفتار با مفهوم ادراک زمان در انسانها تفاوت ماهوی دارد؛ عاملهای نرمافزاری تجربهٔ ذهنی یا حافظهٔ زمانبندیشده ندارند و تنها در صورت تجهیز به ابزارهای زمان و متریکهای مرتبط میتوانند رفتار زمانمحور از خود نشان دهند. برای مطالعهٔ پایهایتر میتوانید به مفهوم ادراک زمان رجوع کنید.
پیامدها برای توسعهدهندگان و پژوهشگران
- اجرای عاملها در وظایف چندساعته نیازمند مکانیزمهای گزارش زمان دقیق و سیاستهای توقف مشخص است.
- آزمونهای خودارزیابی خروجی عاملها باید همزمان با ارزیابی خارجی اجرا شوند تا از اعتماد کاذب جلوگیری شود.
- طراحی harnessها و معیارهای کنترلی باید بهعنوان بخشی از مهندسی عاملها جدی گرفته شود، نه صرفاً انتخاب مدل زبانی.
گام بعدی پژوهشگران
نویسندگان میخواهند بررسی کنند آیا عاملها میتوانند به یک الزام زمانی مشخص پایبند بمانند؛ برای مثال اجرای یک حلقه تکراری «به مدت 2 ساعت روی این وظیفه کار کن». نتایج اولیه نشان میدهد در صورت دسترسی به منبع زمان قابلاعتماد، عملکرد عاملها بهبود مییابد، اما طراحی سیاستهای کنترلی همچنان چالشی اساسی است.
چشمانداز کاربردی
برای استفاده عملی از عاملهای خودران در وظایف طولانیمدت، افزودن ابزارهای زمانسنج و سازوکارهای بازخورد زمانبندی باید در اولویت توسعه قرار گیرد. علاوه بر این، بررسی و استانداردسازی harnessها راه را برای مهندسی پیشبینیپذیرتر و امنتر هموار میکند؛ ضرورتی که برای بهکارگیری گسترده در صنایع حیاتی است.
منابع مرتبط
برای آشنایی بیشتر با زیرساختها و ابزارهای مرتبط میتوانید صفحات مربوط به OpenAI Codex و Anthropic را ملاحظه کنید.
