تقنية بذكاء

الصفحة الرئيسية
الذكاء الاصطناعي العملي

أين يجب أن يبقى الإنسان داخل أنظمة الذكاء الاصطناعي ؟ حدود الأتمتة والرقابة البشرية

دليل لفهم حدود أتمتة الذكاء الاصطناعي ومتى يجب أن يبقى الإنسان داخل مسار القرار ، وفق أثر الخطأ وقابلية التراجع وعدم اليقين وحساسية المهمة .
تخيل نظامًا يقرأ مئات الطلبات يوميًا .
يصنفها ، يستخرج المعلومات ، يحدد الأولوية ، ثم يرسل كل طلب إلى القسم المناسب .
إذا أخطأ مرة ووضع طلبًا عاديًا في قائمة الأولوية المرتفعة ، قد تكون النتيجة مجرد تأخير بسيط لطلب آخر .
الآن غيّر المهمة .
النظام نفسه لم يعد يرتب الطلبات فقط ، بل أصبح يستطيع رفضها نهائيًا .
الخطأ هنا لم يعد يغيّر ترتيب قائمة .
لقد أصبح يؤثر مباشرة في شخص أو مال أو حق أو قرار يصعب التراجع عنه .
هذه النقلة هي جوهر السؤال :
متى يجب أن نترك الذكاء الاصطناعي يعمل وحده ، ومتى يجب أن يتدخل الإنسان ؟
الإجابة ليست :
( ضع إنسانًا بعد كل خطوة ) .
ولو فعلنا ذلك ، فلن يبقى من الأتمتة إلا اسمها .
وليست أيضًا :
( دع النظام يعمل وحده طالما أن دقته مرتفعة ) .
لأن نسبة نجاح جيدة في مهمة منخفضة الأثر لا تعني أن النسبة نفسها مقبولة عندما تكون تكلفة الخطأ كبيرة .
المطلوب هو وضع الإنسان في المكان الذي يغيّر فيه وجوده مستوى الأمان أو جودة القرار فعلًا .
وهذا يعني أن حدود الأتمتة يجب أن تُبنى على طبيعة المهمة ، لا على مدى إعجابنا بقدرات النموذج .

إنفوجرافيك يوضح ثلاث مناطق للرقابة البشرية داخل نظام ذكاء اصطناعي : مهام منخفضة الأثر تُنفذ تلقائيًا ، حالات استثنائية تُحال للمراجعة ، وقرارات عالية الأثر تبقى عند الإنسان

1. ليست كل الأخطاء متساوية

إذا اقترح النظام عنوانًا ضعيفًا لمقال ، تستطيع تجاهله وطلب غيره .
إذا وضع ملفًا في المجلد الخطأ ، يمكن نقله .
إذا أخطأ في مسودة رسالة لم تُرسل بعد ، تستطيع تعديلها .
هذه أخطاء ذات أثر محدود وقابلة للتراجع غالبًا .
لكن ماذا عن :

  • حذف ملف لا توجد منه نسخة أخرى .
  • إرسال بيانات حساسة إلى شخص غير مقصود .
  • اعتماد دفعة مالية .
  • رفض طلب مهم .
  • نشر محتوى باسم مؤسسة .
  • تعديل إعداد أساسي في نظام .
  • اتخاذ قرار له أثر مباشر على شخص .

هنا تتغير طبيعة الخطأ .
لذلك أول سؤال في تصميم الأتمتة ليس :
( كم تبلغ دقة النموذج ) ؟
بل :
( ماذا يحدث عندما يخطئ ) ؟
قد يكون نظام دقته 95% مناسبًا لمهمة معينة ، وغير مقبول إطلاقًا لمهمة أخرى .
الرقم نفسه .
لكن تكلفة الخمسة بالمئة المتبقية مختلفة .

2. قابلية التراجع هي أحد أفضل الحدود الفاصلة

يمكن التفكير في الأفعال على خط بسيط .
في أحد الطرفين :
أفعال يسهل التراجع عنها .
مثل :

  • فتح صفحة .
  • ترتيب نتائج .
  • إنشاء مسودة .
  • تصنيف ملف .
  • اقتراح موعد .
  • إعداد قائمة .

وفي الطرف الآخر :
أفعال يصعب أو يستحيل التراجع عنها بالكامل .
مثل :

  • الإرسال النهائي .
  • الحذف الدائم .
  • التحويل المالي .
  • النشر العام .
  • تغيير صلاحيات .
  • تنفيذ إجراء قانوني أو إداري مؤثر .

كلما اقتربنا من الطرف الثاني ، ازدادت الحاجة إلى رقابة بشرية أقوى .
هذا لا يعني أن الإنسان يجب أن ينفذ العملية كلها بنفسه .
يمكن للذكاء الاصطناعي أن :

  • يجمع البيانات .
  • يملأ الحقول .
  • يحلل البدائل .
  • ويجهز القرار . 

ثم يتوقف عند نقطة الالتزام .
وهنا يراجع الإنسان النتيجة ويقرر التنفيذ أو الرفض .
بهذه الطريقة نحافظ على معظم فائدة الأتمتة دون منح النظام سلطة غير ضرورية .

3. الإنسان الذي يضغط ( موافق ) دائمًا ليس رقابة حقيقية

تخيل أن موظفًا يستقبل مئات التنبيهات يوميًا .
كل مرة يعرض النظام قرارًا ويطلب :
( هل توافق ) ؟
بعد فترة قد تتحول الموافقة إلى إجراء آلي بشري :
موافق .
 موافق .
 موافق .
 موافق .
لم يعد الموظف يفحص القرار فعلًا .
أصبح مجرد خطوة إضافية في العملية .
وهذه مشكلة مهمة :
وجود شخص في المسار لا يعني وجود رقابة بشرية ذات معنى .
حتى تكون المراجعة مفيدة ، يحتاج الشخص إلى :

  • معرفة ما الذي فعله النظام .
  • رؤية المعلومات التي بُني عليها القرار .
  • فهم سبب إحالة الحالة إليه .
  • وقت كافٍ للمراجعة .
  • والقدرة الحقيقية على رفض القرار أو تعديله .

إذا كان النظام يعرض فقط :
( موصى بالموافقة )
مع زر كبير أخضر ، فقد يصبح الإنسان أكثر ميلًا لمتابعة توصية النظام بدل تقييمها من الصفر .
لذلك تصميم الرقابة البشرية مهم بقدر وجودها .

4. لا ترسل كل الحالات إلى الإنسان ؛ أرسل الحالات التي تحتاج إليه

لنأخذ نظامًا يصنف مستندات .
إذا كانت النتيجة :
فاتورة — والحالة واضحة وفق معايير التصنيف التي اختُبرت على هذا النوع من المستندات ، وكان الأداء السابق عليها مستقرًا .
لكن إذا كانت النتيجة :
فاتورة أم عقد ؟
أو كان هناك تعارض بين محتوى الملف واسمه ، فقد تكون المراجعة البشرية مفيدة .
هنا ننتقل من :
مراجعة كل شيء
إلى :
مراجعة مبنية على الاستثناء .
يمكن أن تتحول الحالات إلى الإنسان عندما يظهر مثلًا :
  • مؤشر واضح على الغموض أو عدم استقرار النتيجة .
  • نقص معلومة إلزامية .
  • تعارض بين مصدرين .
  • قيمة خارج النطاق المعتاد .
  • طلب حساس .
  • حالة لم يشاهد النظام مثيلًا واضحًا لها .
  • أو نتيجة يمكن أن تسبب أثرًا مرتفعًا .

هذا يجعل الإنسان موردًا يستخدم حيث يضيف قيمة حقيقية .

5. درجة الثقة وحدها لا تحدد قرار التصعيد

قد يبدو الحل بسيطًا : إذا أعطى النظام درجة ثقة مرتفعة ينفذ ، وإذا انخفضت يحيل الحالة إلى الإنسان .
لكن هذه القاعدة وحدها لا تكفي .
أولًا ، يجب أن نعرف ما الذي تمثله درجة الثقة أصلًا .
فإذا كانت مجرد تقدير يذكره النموذج عن نفسه ، فلا ينبغي التعامل معها كمقياس مستقل .
وحتى إذا كان النظام يملك مؤشرًا جرى اختباره ومعايرته على المهمة ، فإن ارتفاعه لا يلغي أثر الخطأ .
تخيل حالتين لهما مؤشر مرتفع :
الأولى : تصنيف رسالة على أنها تتعلق بالفواتير أو الدعم الفني .
والثانية : تقرير ما إذا كانت دفعة مالية كبيرة تستوفي شروط التنفيذ .
قد يكون المؤشر متقاربًا في الحالتين ، لكن أثر الخطأ مختلف تمامًا .
لذلك قرار التصعيد يجب أن يجمع بين جودة الإشارة التي يقدمها النظام ، وأثر الخطأ، وحساسية البيانات ، وقابلية التراجع .

6. متى ينبغي أن يبقى القرار النهائي بشريًا ؟

هناك فرق بين :
أتمتة العمل
و :
أتمتة السلطة .
يمكن للذكاء الاصطناعي أن يقوم بجزء كبير من العمل قبل قرار معين :
يجمع البيانات .
يلخصها .
يكشف التناقضات .
يقارن الخيارات .
يحسب السيناريوهات .
يرتب الأدلة .
لكن ليس من الضروري أن يكون هو صاحب القرار النهائي .
كلما كان القرار ذا أثر كبير على شخص ، أو حساسًا ماليًا ، أو ذا تبعات قانونية أو تنظيمية ، أو يعتمد على قيم وتقدير اجتماعي ، أو يصعب إصلاح أثره لاحقًا ، زادت الحاجة إلى أن تبقى السلطة والمسؤولية النهائية واضحتين لدى إنسان أو جهة بشرية مسؤولة .
ولا يعني ذلك أن الإنسان لا يخطئ ، بل أن بعض القرارات لا يتعلق تقييمها بالدقة وحدها ؛ بل أيضًا بالمسؤولية والمساءلة وطبيعة الأثر الذي سينتج عنها .

7. الإنسان أيضًا يمكن أن يكون نقطة ضعف

الرقابة البشرية ليست حلًا سحريًا .
قد يخطئ المراجع .
قد يكون مستعجلًا .
قد يثق بالنظام أكثر من اللازم .
قد يراجع عشرات الحالات ثم يفقد التركيز .
وقد يختلف شخصان في تقييم الحالة نفسها .
لذلك لا ينبغي تصميم النظام على افتراض :
( إذا وصل الأمر إلى الإنسان أصبحت النتيجة آمنة ) .
نحتاج أيضًا إلى تصميم طريقة المراجعة .
مثلًا يمكن عرض :

  • البيانات الأصلية .
  • نتيجة النظام .
  • أسباب النتيجة .
  • المعلومات المفقودة .
  • أي تعارض تم اكتشافه .
  • الإجراء الذي سيحدث بعد الموافقة .

بدل عرض توصية مجردة .
الهدف هو مساعدة الإنسان على اتخاذ قرار مستقل ، لا جعله يصدق النظام بصورة أكثر راحة .
ويمكن أن تساعد المخرجات المنظمة هنا في عرض سبب الإحالة ، والمعلومة الناقصة ، والإجراء التالي بصورة واضحة ، وهي الفكرة التي شرحناها في المقال السابق عن المخرجات المنظمة .

8. الرقابة الجيدة تحتاج إلى إمكانية الإيقاف

إذا بدأ وكيل ذكاء اصطناعي تنفيذ سلسلة طويلة من المهام ، يجب أن يكون هناك سؤال بسيط :
هل أستطيع إيقافه ؟
هذا مهم خصوصًا في الأنظمة القادرة على استخدام الأدوات أو الكمبيوتر .
النظام قد :

  • يفتح صفحات .
  • يعدّل ملفات .
  • ينشئ عناصر .
  • ينقل بيانات .
  • أو يتفاعل مع خدمات مختلفة .

إذا اكتشف المستخدم أن المهمة تسير في الاتجاه الخطأ ، فلا ينبغي أن يحتاج إلى انتظار اكتمال جميع الخطوات .
قابلية الإيقاف ليست ميزة إضافية .
هي جزء من التحكم .
والنظام الأكثر استقلالية يحتاج عادة إلى حدود أوضح لإيقافه ، لا حدود أقل .

9. سجل التنفيذ يجعل الرقابة ممكنة بعد حدوث المهمة

إذا نفذ النظام عشرين خطوة ثم ظهرت نتيجة خاطئة ، نحتاج إلى معرفة :
ماذا فعل ؟
ليس فقط :
ماذا كانت النتيجة النهائية ؟
قد نحتاج إلى سجل يوضح :

  • المعلومات التي استخدمها .
  • الأدوات التي استدعاها .
  • الإجراءات التي نفذها .
  • ما الذي فشل .
  • أين تغير المسار .
  • ومتى تدخل الإنسان .

هذه القدرة مهمة لسببين .
الأول هو التحقيق في الخطأ .
والثاني هو تحسين النظام لاحقًا .
من دون سجل مناسب قد نعرف أن النتيجة خاطئة ، لكن لا نعرف كيف وصلنا إليها .
وهذا يجعل الرقابة أضعف حتى لو كان هناك إنسان في النهاية .

10. أين يجب أن تكون نقاط الموافقة ؟

لا توجد إجابة واحدة تناسب كل الأنظمة .
لكن يمكن تحديدها باستخدام أربعة أسئلة .

أ. هل يمكن التراجع ؟

إذا كان نعم بسهولة ، يمكن السماح بأتمتة أكبر .
إذا كان لا ، نرفع الرقابة .

ب. ما حجم أثر الخطأ ؟

خطأ يغير ترتيب قائمة ليس كخطأ يحول مالًا .

ج. هل توجد معلومات كافية ؟

عندما تكون البيانات ناقصة أو متعارضة ، يصبح التصعيد أكثر أهمية .

د. هل يستطيع الإنسان فهم القرار ومراجعته فعلًا ؟

إذا كان القرار معقدًا لدرجة أن المراجع لا يملك المعلومات أو الوقت للتحقق منه ، فإن وضع زر ( موافقة ) لا يحل المشكلة .
هذه الأسئلة الأربعة تعطي أساسًا أفضل من قاعدة :
( كل إجراء يحتاج موافقة )
أو :
( كل ما يستطيع النظام فعله نسمح له به ) .

11. يمكن تقسيم الأتمتة إلى أربع مناطق

بدل الحكم على النظام كله بأنه ( آلي ) أو ( بشري) ، يمكن تقسيم المهام داخله .
المنطقة الأولى : أتمتة كاملة
مهام منخفضة الأثر ، قابلة للتراجع ، واضحة ، ويمكن مراقبتها بسهولة .
مثل التنظيم والتصنيف وبعض الأعمال المتكررة .
المنطقة الثانية : أتمتة مع مراقبة
النظام ينفذ ، لكن النتائج تُراجع دوريًا أو تُراقب بحثًا عن الحالات غير الطبيعية .
المنطقة الثالثة : أتمتة حتى نقطة القرار
النظام يجمع ويحلل ويجهز كل شيء ، ثم يحتاج إلى موافقة قبل الفعل المؤثر .
المنطقة الرابعة : دعم القرار فقط
الذكاء الاصطناعي يقدم المعلومات والتحليل ، لكن القرار النهائي نفسه يبقى بشريًا .
هذه المناطق أكثر فائدة من سؤال :
( هل نثق بالذكاء الاصطناعي أم لا ) ؟
لأن النظام الواحد قد يستخدم الأربع معًا في عمليات مختلفة .

إنفوجرافيك يوضح أربع مناطق للأتمتة في أنظمة الذكاء الاصطناعي : أتمتة كاملة ، أتمتة مع مراقبة ، أتمتة حتى نقطة القرار ، ودعم القرار فقط ، مع ازدياد دور الإنسان كلما ارتفع أثر الخطأ وصَعُب التراجع

12. الرقابة ليست ثابتة : يمكن تقليلها أو زيادتها

يمكن تقليل المراجعة اليدوية عندما تُظهر بيانات الأداء أن نوعًا محددًا من الحالات مستقر ، منخفض الأثر، ويمكن اكتشاف انحرافه بالمراقبة .
قد ننتقل عندها من مراجعة جميع الحالات إلى مراجعة عينات ، مع استمرار إحالة الحالات غير المعتادة أو المتعارضة أو ذات الأثر المرتفع .
والعكس صحيح أيضًا .
فإذا تغيرت البيئة، أو اللوائح ، أو شكل البيانات، أو ظهر نوع جديد من الحالات ، أو ارتفع معدل الخطأ ، يجب أن يستطيع النظام العودة إلى مستوى رقابة أعلى .
المهم أن يتغير مستوى الرقابة بناءً على أدلة من الأداء والمخاطر الفعلية ، لا على افتراض أن الأتمتة يجب أن تتوسع دائمًا بمرور الوقت .

13. لا تقيس نجاح الأتمتة بعدد الموظفين الذين أزلتهم من المسار  

يمكن إنشاء نظام آلي جدًا ويكون سيئًا .
ويمكن إنشاء نظام يحتفظ بتدخل بشري محدود ويكون أكثر كفاءة .
المقياس الأفضل ليس :
( كم خطوة ألغينا منها الإنسان ) ؟
بل :

  • هل انخفض وقت إنجاز المهمة ؟
  • هل انخفضت الأخطاء ؟
  • هل تحسنت الاستجابة ؟
  • هل أصبحت الحالات الخطرة أكثر وضوحًا ؟
  • هل يستطيع الإنسان التركيز على الاستثناءات بدل الأعمال المتكررة ؟
  • وهل يمكن اكتشاف الخطأ وإيقافه وتصحيحه ؟

قد يكون أفضل استخدام للذكاء الاصطناعي ليس إزالة الإنسان .
بل إزالة العمل الذي لا يحتاج إلى حكم بشري من أمام الإنسان .
حتى يتفرغ لما يحتاجه فعلًا .

14. نموذج عملي : أين نضع الإنسان في عملية واحدة ؟

لنفترض أن لدينا نظامًا لمعالجة طلبات مالية داخل مؤسسة .
يمكن تصميم المسار هكذا :
الخطوة 1 : قراءة الطلب واستخراج البيانات — آلي .
الخطوة 2 : التأكد من اكتمال الحقول — آلي .
الخطوة 3 : مقارنة المبلغ بالقواعد — آلي .
الخطوة 4 : اكتشاف التعارض أو القيمة غير المعتادة — آلي .
ثم ينقسم المسار .
إذا كان :

  • المبلغ صغيرًا .
  • البيانات كاملة .
  • لا توجد إشارة خطر .
  • والإجراء قابلًا للتراجع .

يمكن أن يستمر المسار وفق الصلاحيات الممنوحة .
أما إذا كان :

  • المبلغ مرتفعًا .
  • توجد معلومة ناقصة .
  • ظهر تعارض .
  • أو سيحدث التزام نهائي .

تذهب الحالة إلى المراجع البشري .
وللمراجع تظهر :
ما المشكلة ؟
ما الذي اقترحه النظام ؟
ما الأدلة ؟
وماذا سيحدث إذا وافقت ؟
هذه ليست رقابة بشرية في نهاية العملية فقط .
بل هندسة للعمل بحيث يظهر الإنسان عند النقطة التي يحتاج إليه النظام فعلًا .

إنفوجرافيك يوضح مسار معالجة طلب مالي بالذكاء الاصطناعي من استخراج البيانات والتحقق منها وتقييم المخاطر ، ثم تقسيم الحالات إلى مسار منخفض الأثر يستمر تلقائيًا ومسار مرتفع الأثر يُحال إلى مراجع بشري مع الأدلة قبل التنفيذ

15. القدرة التقنية لا تحدد الصلاحية

حتى عندما يستطيع النظام قراءة الطلب، وتحليله، وتعبئة النموذج ، والضغط على الزر ، فإن القدرة التقنية لا تجيب وحدها عن السؤال الأهم : هل ينبغي أن يمتلك صلاحية تنفيذ هذا الإجراء دون مراجعة ؟
هنا يجب الفصل بين ثلاثة أمور :
القدرة : ما يستطيع النظام فعله تقنيًا .
الصلاحية : ما يُسمح له بفعله داخل هذه المهمة .
المسؤولية : من يتحمل القرار وآثاره عند التنفيذ .
يمكن أن تكون قدرة النظام واسعة وصلاحياته محدودة .
وهذا ليس نقصًا ، بل قد يكون تصميمًا أفضل عندما يكون أثر الخطأ مرتفعًا .

16. الخلاصة

السؤال الصحيح حول الرقابة البشرية ليس :
( هل نضع الإنسان داخل النظام أم نزيله ) ؟
بل :
( أين يكون وجود الإنسان ذا قيمة حقيقية ) ؟
في بعض المهام يمكن للذكاء الاصطناعي أن يعمل تلقائيًا لأن الخطأ محدود وقابل للتراجع .
وفي مهام أخرى نحتاج إلى مراقبة الاستثناءات فقط .
وفي مهام ثالثة يستطيع النظام تنفيذ معظم العمل ، ثم يتوقف قبل الخطوة التي تنشئ التزامًا أو أثرًا كبيرًا .
وفي بعض القرارات يجب أن يبقى الذكاء الاصطناعي مساعدًا في جمع الأدلة والتحليل ، بينما تبقى المسؤولية النهائية للإنسان .
الحد الفاصل لا تحدده قدرة النموذج وحدها .
بل تحدده مجموعة أسئلة :
ما أثر الخطأ ؟
هل يمكن التراجع ؟
هل المعلومات كاملة ؟
هل يستطيع الإنسان مراجعة القرار فعليًا ؟
وهل يمكن إيقاف النظام ومراجعة ما فعله إذا حدث شيء غير متوقع ؟
كلما زادت استقلالية نظام الذكاء الاصطناعي واتسعت قدرته على التنفيذ ، ازدادت أهمية أن تكون الرقابة البشرية دقيقة في موضعها وحدودها .
فالهدف ليس وضع الإنسان أمام كل نقرة .
ولا إخراجه من المسار بالكامل .
الهدف هو أن يتولى الذكاء الاصطناعي ما يجيده من السرعة والمعالجة والتكرار ، ويبقى الإنسان عند النقاط التي تحتاج إلى حكم ومسؤولية وسيطرة على الأثر النهائي .