الذكاء الاصطناعي والأنظمة الوكيلة
الذكاء الاصطناعي مع وجود الإنسان في الحلقة: تصميم تدفقات عمل آمنة للعمليات التجارية عالية الحساسية
المراجعة البشرية ليست نقطة ضعف في نظام الذكاء الاصطناعي. في تدفقات العمل عالية الأثر، تكون غالبًا هي البنية الصحيحة. إليك كيفية تصميم عملية التسليم بالشكل المناسب.

في هذه الصفحة
غالبًا ما تُقيَّم أنظمة الذكاء الاصطناعي بحسب مقدار العمل الذي يمكنها إنجازه من دون تدخل بشري. لكن هذا المعيار قد يكون مضللًا.
في العمليات عالية الحساسية، السؤال الأفضل ليس: “هل يمكن للذكاء الاصطناعي أن يتصرف بمفرده؟” بل: “أين يجب أن تقع المسؤولية، وما المعلومات التي ينبغي أن يتلقاها الشخص قبل اتخاذ القرار؟”
تصميم الإنسان في الحلقة (HITL) هو البنية التي تحدد تلك الحدود.
المراجعة البشرية ليست خطة بديلة
التطبيق الضعيف يستخدم المراجعة البشرية لأن الذكاء الاصطناعي غير موثوق ولا أحد يعرف ماذا يفعل غير ذلك. أما التطبيق القوي فيوزّع عمدًا فئات مختلفة من القرارات بين الأتمتة، ومساندة الذكاء الاصطناعي، والملكية البشرية.
على سبيل المثال، قد يتمكن نظام الذكاء الاصطناعي بأمان من تصنيف مستند مرفوع، واستخراج الحقول المنظمة، وتحديد المعلومات المحتمل نقصها. لكن القرار القانوني أو المالي أو التعاقدي النهائي قد يبقى لدى مختص مخوّل.
ويظل النظام موفرًا للوقت لأن الإنسان يتلقى سياق قرار مُعدًا مسبقًا بدلًا من مادة خام.
ابدأ بتصنيف الإجراءات حسب الأثر
يُقسِّم تصميم تدفق العمل المفيد الإجراءات إلى فئات مثل:
- منخفضة الأثر وقابلة للعكس: صياغة ملخص، وسم رسالة، اقتراح فئة.
- تشغيلية لكن قابلة للاستدراك: إنشاء مهمة، طلب مستند ناقص، تحديث حالة غير حساسة.
- عالية الأثر: اعتماد الشروط التجارية، تقديم ملف خاضع للتنظيم، تعديل السجلات المالية، إرسال قرار ملزم للعميل.
كلما ارتفع الأثر المحتمل، أصبح من الضروري رفع مستوى الأدلة والموافقة ومتطلبات التدقيق.
صمّم عتبات الثقة بعناية
لا ينبغي التعامل مع درجة الثقة على أنها قيمة حقيقة سحرية. إنها مجرد إشارة واحدة. ويمكن لتدفق العمل أن يجمع بين ثقة النموذج والتحقق الحتمي وقواعد الأعمال.
على سبيل المثال:
- إذا كان المعرّف المطلوب مفقودًا، فحوّل الحالة إلى المراجعة بغض النظر عن ثقة النموذج.
- إذا تعارض مصدران، فأظهر كليهما بدلًا من الاختيار بصمت.
- إذا تجاوز إجراء ما الحد المالي، فاشترط موافقة شخص محدد بالاسم.
- إذا كانت الأدلة المسترجعة ضعيفة، فامنع التنفيذ التلقائي.
هذا النهج الهجين يكون عادةً أقوى من مطالبة النموذج بالحكم على مدى ثقته بنفسه.
شاشة المراجعة مهمة
تهدر كثير من أنظمة الذكاء الاصطناعي الوقت الذي يُفترض أن توفره لأن واجهة المراجعة البشرية مصممة بشكل سيئ. فلا ينبغي للمراجع أن يضطر إلى إعادة بناء الحالة كاملة من الصفر.
تُظهر شاشة المراجعة القوية:
- ما الإجراء الذي يوصي به الذكاء الاصطناعي.
- لماذا يوصي به.
- الأدلة المصدرية ذات الصلة.
- ما الذي ينقص أو ما يزال غير مؤكد.
- ما الذي سيحدث إذا وافق المراجع.
- البدائل الممكنة عند الحاجة.
- سجل القرارات السابقة والتعديلات.
ولهذا فإن تجربة المنتج UX لا تنفصل عن بنية الذكاء الاصطناعي. فالواجهة هي التي تحدد ما إذا كان الشخص قادرًا على ممارسة إشراف فعلي ذي معنى.
لا تجعل الإنسان مجرد ختم مطاطي
إذا رأى المراجع مئات طلبات الموافقة المتطابقة، فسوف يبدأ في الموافقة عليها آليًا في النهاية. وهذا يخلق مظهر الإشراف من دون جوهره.
التصميم الجيد لتدفق العمل يقلل الموافقات غير الضرورية ويركز انتباه الإنسان على الاستثناءات، والغموض، والقرارات عالية الأثر.
يجب أتمتة الأعمال الروتينية الحتمية. وينبغي أن يجهز الذكاء الاصطناعي الأعمال المحددة النطاق أو ينفذها حيثما كان ذلك مناسبًا. أما انتباه الإنسان فيجب أن يُخصَّص للحكم الذي يستفيد منه فعلًا.
احتفظ بالأدلة وسجل التدقيق
في تدفقات العمل المهمة، خزّن قدرًا كافيًا من السياق لفهم القرار لاحقًا. وبحسب حالة الاستخدام، قد يشمل ذلك نسخة المدخلات، والأدلة المسترجعة، ومخرجات النموذج، ونتائج التحقق، وتعديلات المستخدم، والقرار النهائي، وصاحب الموافقة، والطوابع الزمنية.
هذا لا يعني تخزين كل رمز وسيط إلى الأبد. بل يعني تصميم نموذج تدقيق يتناسب مع مخاطر العمل ومتطلبات الخصوصية.
صمّم مسار التصعيد، لا الموافقة فقط
تحتاج أنظمة الإنسان في الحلقة إلى أكثر من مجرد موافقة أو رفض.
قد تشمل الإجراءات المفيدة:
- طلب مزيد من المعلومات.
- إرجاع العنصر إلى مالكه السابق.
- القبول مع تسجيل استثناء موثق.
- تعيين مراجع متخصص.
- تجاوز التوصية مع ذكر السبب.
- التصعيد بسبب عدم اليقين أو تعارض السياسات.
ينبغي أن تكون هذه الحالات واضحة في تدفق العمل حتى تتمكن المؤسسة من رؤية ما يحدث بدلًا من حل الاستثناءات في الرسائل الخاصة.
مثال: جاهزية المستندات
تأمل نظام استقبال مدعومًا بالذكاء الاصطناعي. يمكن للذكاء الاصطناعي تحديد أنواع المستندات، واستخراج الأسماء والتواريخ، ومقارنة التقديم بقائمة تحقق، وإبراز التناقضات.
لكن لا ينبغي له بالضرورة أن يقرر أن الحالة مكتملة قانونيًا. بدلًا من ذلك، يمكنه تقديم ملخص جاهزية إلى المختص المسؤول مع روابط مباشرة إلى الأدلة التي دفعت إلى كل تنبيه.
ويصبح قرار الإنسان أسرع لأن التحضير الإداري قد أُنجز بالفعل.
مثال: مراجعة العطاء
في سير عمل المناقصات، يمكن لـ AI تلخيص المتطلبات، واكتشاف المواعيد النهائية، وتحديد الأدلة الناقصة، وإبراز البنود التي تستحق الانتباه. يمكن للمنسق تأكيد الاستلام. ويمكن للمراجع اعتماد الرد الفني. ويمكن للأدوار التجارية ضبط التسعير. ويمكن للمدير التنفيذي الموافقة على أي استثناء.
تشارك AI عبر العملية من دون أن تصبح المالك القانوني أو التجاري لكل قرار.
أطر المخاطر مدخلات مفيدة
يُعدّ NIST AI Risk Management Framework إطارًا طوعيًا لإدارة مخاطر AI، كما يضيف Generative AI Profile من NIST اعتبارات خاصة بالأنظمة التوليدية. وتُعد هذه الموارد مدخلات مفيدة للمؤسسات التي تسعى إلى إرساء حوكمة AI بشكل رسمي.
ينبغي على فرق الأمن أيضًا النظر في المخاطر الموثقة في OWASP’s guidance for LLM applications.
قائمة تحقق عملية للتصميم
- حدّد الإنسان أو الدور المسؤول عن النتائج عالية التأثير.
- صنّف الإجراءات حسب مستوى التأثير وقابلية الرجوع.
- أتمت الأعمال الحتمية أولًا.
- استخدم AI في التفسير عندما يحقق استفادة حقيقية.
- حدّد متى يجوز لـ AI التنفيذ ومتى يقتصر دوره على التوصية فقط.
- أظهر الأدلة الكامنة وراء التوصيات المهمة.
- أنشئ حالات استثناء وتصعيد واضحة.
- سجّل قدرًا كافيًا من السجل التاريخي لتتبع القرارات.
- اختبر التجربة مع الأشخاص الذين يراجعون العمل فعليًا.
- أعد النظر في الحدود كلما اتضحت النتائج في الواقع العملي.
الهدف هو تحقيق استفادة قابلة للمساءلة
أفضل نظام human-in-the-loop ليس ذلك الذي يضطر فيه الأشخاص إلى تصحيح AI باستمرار. بل هو النظام الذي يزيل فيه البرنامج وAI الأعمال التحضيرية المتكررة، بينما يحتفظ البشر بالتحكم في القرارات التي تستحق الحكم والمسؤولية.
إذا كنت تصمم سير عمل AI تتعلق فيه الصلاحيات والموافقات والأدلة، فاستكشف AI Solutions من Astackra، أو Custom Software، أو أحضر إلينا سير العمل.