وقتی شرکت TOTVS وارد ساخت عاملهای هوش مصنوعی سازمانی شد، با چالشی رایج اما پیچیده روبهرو شد: دادههای موجود برای پاسخگویی مدلهای نسل جدید آماده نبودند. دادههای تراکنشی برای اپلیکیشنها بهینه شدهاند و دیتا لیکها برای تحلیلگران؛ هیچکدام برای حلقهٔ استنتاجیِ حساس به تأخیر و مصرف توکن مناسب نیستند. طراحی لایهٔ دادهای که نیازهای دقت، امنیت و هزینه را همزمان برآورده کند، ضروری است.
دو مدل محاسباتی و خط تصمیمگیری
نرمافزارهای مدرن ترکیبی از منطق قطعی (قواعد کدنویسیشده) و منطق غیرقطعی (مدلهای زبانی بزرگ و سیستمهای تولیدی) هستند. تفکیک مناسب وظایف بین این دو نوع محاسبه بر اساس سه معیار اصلی انجام میشود: دقت، امنیت و هزینه. این تفکیک وابسته به نحوهٔ فراهمسازی و پردازش دادهها در لایهٔ داده است.
دقت: منابع داده و الگوی دسترسی
منبع اولیهٔ داده معمولاً سیستمهای تراکنشی مانند ERP یا CRM است. اتصال مستقیم مدلها به این سیستمها میتواند منجر به فشار بار، اختلال در پردازشهای تاریخی و مواجهه با دادهٔ نویزی شود. به همین دلیل اغلب دادهها به پلتفرم داده یا دیتا لیک منتقل شده و در آنجا پاکسازی، عادیسازی و تولید امبدینگها (embeddings) انجام میشود.
وقتی باید مستقیم به سیستم تراکنشی متصل شوید:
- نیاز به نوشتن در سیستم تراکنشی وجود دارد (عملیات تغییر وضعیت یا تراکنش).
- دادهٔ کاملاً تازه و لحظهای ضروری است.
- قوانین کسبوکار که فقط در لایهٔ تراکنشی قابل اجرا هستند باید اجرا شوند.
وقتی بهتر است از پلتفرم داده استفاده کنید:
- برای پردازشهای تاریخی، تحلیلهای مقیاسی و گزارشگیری.
- برای ساخت و نگهداری پایگاههای برداری و جستجوی معنایی (Semantic search).
- برای پاکسازی، عادیسازی و مستندسازی منبع داده و ثبت خط مبدا (provenance).
امنیت و حاکمیت: حریم خصوصی و کنترل دسترسی
عاملهای سازمانی باید همزمان با سیاستهای حریم خصوصی و کنترل دسترسی کار کنند و امکان بازتولید تصمیمها را فراهم سازند. اجزای کلیدی حاکمیت عبارتاند از:
- حفاظت از دادههای حساس با رمزگذاری در حالت استراحت و در انتقال و کنترل دسترسی مبتنی بر نقش (RBAC).
- ثبت لاگهای کامل برای آودیت و بازتولید تصمیمها (traceability و observability).
- تفکیک دادههای تولیدی از دادههای آموزشی مدل و سیاستهای نگهداری و حذف داده (retention).
هزینه و کارایی: کاهش تأخیر و مدیریت مصرف توکن
مدلهای زبانی هزینهٔ محاسباتی و مصرف توکن دارند؛ بنابراین طراحی باید شامل استراتژیهایی برای کاهش هزینه و تأخیر باشد:
- کشینگ هوشمند برای پاسخهای تکراری و پیشمحاسبهٔ امبدینگها.
- طبقهبندی پرسوجوها بر اساس حساسیت و هزینه/دقت و ارسال آنها به مسیر مناسب (مثلاً پاسخهای کمهزینه با قواعد قطعی، پرسوجوهای پیچیده به مدلهای پرهزینهتر).
- استفاده از پایگاههای برداری بهینه برای جستجوی نزدیکترین همسایه و مدیریت شاخصها.
برای مطالعهٔ مفاهیم پایهای میتوانید به مدلهای برداری و Vector space model مراجعه کنید.
الگوهای معماری پیشنهادی
الگوهای متداولی که در سازمانها کاربرد دارند:
- دسترسی مستقیم محدود به تراکنشها: تنها برای عملیات نوشتنی و دادهٔ لحظهای با سیاستهای نرخدهی و صفبندی.
- کپی به پلتفرم داده و پایگاه برداری: انتقال داده به دیتاپلتفرم برای پاکسازی و تولید امبدینگها؛ عاملها از لایهٔ برداری برای جستجو و بازیابی استفاده میکنند.
- معماری ترکیبی با دروازهٔ داده (Gateway یا MCP): یک نقطهٔ مرکزی برای هماهنگی دسترسی، مدیریت حافظهٔ مکالمه، اعمال سیاستها و کشینگ.
- لایهٔ معنایی و دانشگراف: ترکیب امبدینگها با گراف دانش برای پاسخهایی با زمینهٔ دقیقتر و بازنمایی روابط تجاری (Knowledge graph).
اجزای کلیدی پیادهسازی
- خط لولهٔ ingest برای همگامسازی، پاکسازی و ثبت خط مبدا دادهها.
- خدمات تولید امبدینگ و نگهداری آنها در پایگاه برداری همراه با نسخهگذاری و ایندکسینگ.
- دروازهٔ دسترسی (MCP یا معادل آن) برای مدیریت کوئریها، اعمال نرخدهی و سیاستهای دسترسی.
- لایهٔ حاکمیت برای لاگ، آودیت، رمزگذاری و مدیریت حقوق دسترسی.
- سیستم مانیتورینگ و ارزیابی (evals) برای اندازهگیری کیفیت پاسخها و فیدبکِ مستمر.
توصیههای عملی برای تیمهای فنی
- خط مبدا (provenance) و متادیتای هر منبع را ثبت و نگهداری کنید؛ این کار در رفع خطا و بازتولید تصمیمها حیاتی است.
- برای عملیات حساس یا نوشتنی بهطور مستقیم به سیستم تراکنشی مراجعه کنید و برای خواندن از نسخهٔ بهینهشدهٔ داده در پلتفرم استفاده نمایید.
- امبدینگها را پیشمحاسبه و نسخهبندی کنید و از پایگاه برداری برای بازیابی سریع بهره ببرید.
- قواعد کسبوکار را در لایهٔ قطعی نگه دارید و منطق احتمالاتی را برای توصیهها و تکمیل وظایف غیرفرانگیر به کار ببرید.
- متریکهای دقت، خطای احتمالاتی و هزینهٔ اجرای هر کوئری را اندازهگیری کرده و بهصورت خودکار بازخورد دهید.
- نقشهٔ راه حفاظت داده و الزامات حریم خصوصی را موازی با توسعهٔ عاملها تعریف و اجرا کنید.
گام بعدی
معماری لایه داده برای عاملهای سازمانی بیش از فناوری نیازمند طراحی فرآیندها، حاکمیت داده و ارزیابی مستمر است. تیمهای معماری باید ترکیب بهینهٔ دادههای تراکنشی و پلتفرم داده را براساس سناریوهای کسبوکاری مشخص کنند و با اجرای مستمر evals و مانیتورینگ، ریسکها را کاهش دهند. با طراحی لایهٔ دادهٔ مناسب میتوان تعامل جدید کاربران با سیستمهای سازمانی را به فرصت افزایش کارایی و تصمیمگیری تبدیل کرد.
