قابلیت داخلی Claude Code پیش از تولید اولین پاسخ تا 200,000 توکن مصرف می‌کرد؛ Anthropic در نسخه Claude Code v2.1.234 مصرف اولیه را به‌طور قابل‌توجهی به حدود 25,000 توکن کاهش داد.

شرح مشکل

قابلیت /claude-api که مستندات مرجع را برای توسعه‌دهندگان API و Managed Agents بارگذاری می‌کرد، همه فایل‌های مرجع را به‌صورت درون‌خطی در بدنهٔ قابلیت جاسازی می‌نمود. یک گزارش در گیت‌هاب نشان می‌داد یک فراخوانی می‌توانست تنها برای مواد مرجع حدود 120,000 توکن مصرف کند و یک سند مهاجرتی به‌تنهایی حدود 36,000 توکن بود. پس از بارگذاری کاملِ قابلیت، حتی یک پرسش تک‌خطی ممکن بود تقریباً 200,000 توکن را پیش از آغاز تولید پاسخ مصرف کند.

جزئیات فنی گزارش باگ

  • در گزارش دوم (۴ آگوست) مشخص شد که در صورت عدم تشخیص زبان پروژه، قابلیت به‌عنوان حالت پشتیبان مستندات چندزبان (C#, cURL, Go, Java, PHP, Python, Ruby, TypeScript) و ۲۶ فایل Markdown مشترک را بارگذاری می‌کرد؛ دایرکتوری بسته‌بندی‌شده حدود 812,650 بایت بود.
  • برای بازتولید مشکل صرفاً یک فایل 32,954 بایتی کافی بود؛ درون‌خطی کردن کل مجموعه باعث می‌شد عامل برای هر درخواست همهٔ ~812 KB را بخواند، حتی وقتی بیشترِ محتوا نامربوط بود.
نمونه‌ای از آرشیو بسته‌بندی‌شده مستندات در Claude Code

چرا اهمیت دارد

پر شدن پنجرهٔ زمینه (context window) هم کیفیت خروجی را کاهش می‌دهد و هم هزینه‌های عملیاتی را بالا می‌برد. راهنمای بهترین شیوه‌های Anthropic اشاره می‌کند که با اشباع شدن زمینه مدل ممکن است دستورالعمل‌های اصلی را از دست بدهد یا رفتار غیرمنتظره‌ای نشان دهد. این مشکل محدود به این پیاده‌سازی نیست و نشان می‌دهد مدیریت هوشمند بارگذاری محتوا برای حفظ کیفیت و کنترل هزینه‌ها حیاتی است. برای مروری فنی روی مدل‌های زبانی و محدودهٔ زمینه‌ای آن‌ها می‌توانید به صفحهٔ Language model در ویکی‌پدیا مراجعه کنید.

راه‌حل Anthropic: بارگذاری «درخواستی»

Anthropic اعلام کرده مستندات مرجع اکنون به‌صورت درخواستی (on-demand) بارگذاری می‌شوند؛ این تغییر هزینهٔ اولیهٔ زمینه را تا حدود 85.7٪ کاهش می‌دهد و مجموع توکن‌های ثابت هر قابلیت را از حدود 200,000 به نزدیک 25,000 توکن می‌آورد. ساختار بارگذاری سه مرحله‌ای تعریف شده است:

  1. مقداری فرادادهٔ کم که همیشه حاضر است.
  2. بدنهٔ SKILL.md که وقتی قابلیت فعال می‌شود بارگذاری می‌گردد.
  3. منابع بسته‌بندی‌شده که تنها در طول اجرای وظیفه و در صورت نیاز خوانده می‌شوند.

Anthropic توضیح دقیقی دربارهٔ الگوریتم انتخاب اسناد ارائه نکرده؛ اما اصل کلی این است که بارگذاری محدود به مواد مرتبط شود و Claude تنها زمانی فایل‌های اضافی را بخواند که زبان یا ویژگی API مرتبط تشخیص داده شود.

راهنمای عملی برای توسعه‌دهندگان و تیم‌های مهندسی

چند نکتهٔ عملی برای کاهش هزینه و افزایش پایداری در راهکارهای مبتنی بر عامل:

  • فایل SKILL.md را مختصر و شامل دستورالعمل‌های هسته و پیوندهای مرجع نگه دارید؛ جزئیات و نمونه‌ها را به فایل‌های پشتیبان منتقل کنید.
  • مصرف توکن را پیش از انتشار با سناریوهای واقعی اندازه‌گیری کنید و بررسی کنید چه بخش‌هایی پیش‌بارگذاری می‌شوند.
  • از درون‌خطی کردن مجموعه‌های بزرگ اجتناب کنید؛ به جای آن از بارگذاری درخواستی، ایندکس بیرونی یا استریمِ محتوا استفاده کنید.
  • جریان‌های کاری عامل‌محور را بر اساس بودجهٔ توکن طراحی و نظارت هزینه را به‌عنوان شاخص کیفیت در نظر بگیرید.
  • از پلتفرم‌هایی مانند GitHub برای گزارش و پیگیری باگ‌ها بهره ببرید تا راه‌حل‌ها عمومی و قابل بازبینی باشند.

چشم‌انداز

با گسترش استفاده از عامل‌ها و اتکای بیشتر به آرشیوهای محلی و مستندات، مدیریت هوشمند بارگذاری محتوا نقش تعیین‌کننده‌ای در کیفیت، هزینه و مقیاس‌پذیری خواهد داشت. کاهش مصرف ثابت توکن از حدود 200,000 به ~25,000 نشان می‌دهد که اصلاحات طراحی می‌تواند تأثیر چشمگیری بر تجربهٔ توسعه‌دهنده و هزینه‌ها داشته باشد؛ اما شفافیت بیشتر در الگوریتم‌های انتخاب اسناد لازم است تا تیم‌ها بتوانند با اطمینان معماری‌های عامل خود را برنامه‌ریزی کنند.