استارتاپ سیرا (Sierra)، شرکتی که برت تیلور، رئیس هیئت مدیره اوپنایآی، از موسسانش است، معیار نوینی منتشر کرده که نه تنها عملکرد عاملهای هوشمند را میسنجد، بلکه توانایی آنها در ساختن عاملهای دیگر را به چالش میکشد. نتایج اولیه نشان میدهد بهترین مدل موجود، کلود آپس ۵ (Claude Opus 5) در محیط کلود کد، تنها ۲۳.۹ درصد از تستها را با موفقیت گذرانده است.
هایپر تاو بنچ: وقتی عامل، عامل میسازد
معیار اصلی تاو بنچ (τ-bench) در سال ۲۰۲۴ معرفی شده بود تا کارایی عاملهای نهایی در تعامل با کاربران، استفاده از ابزارها و رعایت سیاستهای سازمانی را ارزیابی کند. هایپر تاو بنچ (Hyper-τ-bench) یک پله بالاتر میرود: یک عامل توسعهدهنده را در نقش معمار قرار میدهد تا از اسناد، رونوشتهای گفتگو، API و کدبیس یک کسبوکار شبیهسازی شده، یک عامل خدمات مشتری کارآمد بسازد.
سپس عاملِ ساختهشده در برابر مکالمات ناشناس در چهار حوزه هوانوردی، خردهفروشی، مخابرات و بانکداری آزمون میشود. معیار موفقیت، دادن اطلاعات دقیق و اعمال تغییرات صحیح در سیستمهای زیرین است. این معیار در اوایل سپتامبر به صورت متنباز (Open-source) منتشر شد و مقاله پژوهشی مربوطه در چهارم سپتامبر منتشر گردید.
جدول رتبهبندی: شکاف عمیق با مرجع انسانی
شش پیکربندی مستقل مورد تست قرار گرفتند: مدلهای آنتروپیک در کلود کد، اوپنایآی در کدکس (Codex)، و کیمیکی۳ (Kimi K2) در محیطهای kimi code و OpenCode. نتایج به شرح زیر است:
- کلود آپس ۵ (Claude Code): ۲۳.۹٪
- جیپیتی ۵ (Codex): ۲۲٪
- سایر ترکیبها (شامل Kimi K2): زیر ۲۰٪
هیچکدام از مدلها نتوانستند سقف ۲۵٪ را بشکنند. در مقابل، میله «مرجع انسان + هوش مصنوعی» روی ۸۲.۲٪ قرار دارد. اما محققان سیرا، بن شی و کشو دندانیا، در پست وبلاگ رسمی و مقاله پژوهشی، نکته کلیدی را برجسته میکنند: این عاملهای مرجع توسط نویسندگان معیار به کمک مدل پیشرو و با دسترسی به واقعیتهایزمینی (Ground-truth) به صورت دستی ساخته شدهاند؛ عاملی که عاملهای مستقل باید خودشان آن را کشف کنند. بنابراین ۸۲.۲٪ یک «مرجع اوراکل» است، نه معیار عملکرد متوسط انسان.
بانکداری: سنگینترین حوزه و مقبره عاملها
تفاوتهای حوزهای حیرتانگیز است. کلود آپس ۵ در خردهفروشی ۷۲.۸٪، در هوانوردی ۵۵.۹٪ و در مخابرات ۴۸.۲٪ امتیاز کسب کرد، اما در بانکداری به شدت به ۵.۹٪ افتاد. مدل جیپیتی ۵ در بانکداری نیز از ۹٪ فراتر نرفت.
بانکداری ۳۵ از ۵۳ وظیفه ساخت را پوشش میدهد و پرمعلوماتترین حوزه است: корпуوس آن ۲۹۶۹ واقعه سیاستی منحصر به فرد دارد و یک وظیفه منفرد میتواند به ۵۸۰ واقعه وابسته باشد. این پیچیدگی لایهای، بانکداری را به چالشبرانگیزترین سناریو برای عاملسازها تبدیل کرده است.
کجا عاملهای توسعهدهنده زمین میگیرند؟
تحلیل رفتاری عاملها در حین فرآیند ساخت، الگوهای تکراری شکست را آشکار کرد:
- تحقیق ناکافی: کاوش در مورد کسبوکار و الزامات را بسیار زود متوقف میکنند.
- عدم پرسش: وقتی با اطلاعات ناقص روبرو میشوند، به ندرت سوال پرسیده یا تأییدیه میخواهند.
- مدیریت بد بودجه: تصمیمات ناآگاهانهای در مورد بودجه محاسباتی (Token Budget) عامل نهایی میگیرند.
- فقدان خلاقیت فنی: اشتیاق کمی برای آزمایش رویکردهای جایگزین یا Refactoring کد نشان میدهند.
محققان تأکید میکنند: «این شکستها به چالشهایی شبیه است که توسعهدهندگان عامل انسانی با آنها روبرو میشوند.» این مشاهده، نتایج را فراتر از یک مقایسه ساده ماشین در برابر انسان میبرد و نشان میدهد چالشهای مهندسی عامل، فراگیر و مستقل از هویت سازندهاند.
معیار دشوار، پیشرفت قابلقياس
نمرات پایین برای یک معیار مرزی (Frontier) عیب نیست؛ هدف ایجاد فضایی است که بهترین مدلها هنوز در آن نفس بکشند و تفاوتهای معنادار آشکار شود. هایپر تاو بنچ این فضاسازی را به خوبی انجام داده: هم شکاف بزرگ با سطح انسانی (حتی با کمک هوش مصنوعی) را نمایان میکند، هم ضعفیهای سیستماتیک عاملهای خودمختار را کشف میکند.
مرحله بعدی تمرکز سیرا و جامعه پژوهش، احتمالاً روی یکپارچهسازی استدلال عمیق (Deep Reasoning)، مدیریت هوشمند بودجه توکن، و حلقههای فعال کشف نیاز در فرآیند ساخت عامل متمرکز خواهد بود. تا آن زمان، بسازیدن یک عامل قابلاعتماد، همچنان کارِ تیمی انسان-ماشین باقی است.
