تقنية بذكاء

الصفحة الرئيسية
الذكاء الاصطناعي العملي

كيف تختبر جودة إجابة الذكاء الاصطناعي بدل الاكتفاء بأنها تبدو جيدة ؟

دليل عملي لتقييم جودة إجابات الذكاء الاصطناعي ، من مطابقة السؤال وفحص الأدلة والافتراضات إلى اكتشاف النواقص وتقدير درجة الثقة قبل اعتماد النتيجة .
تطلب من نظام ذكاء اصطناعي تحليل فكرة مشروع .
بعد ثوانٍ تحصل على إجابة مرتبة :
السوق واعد ، والتكلفة تبدو مناسبة ، والمخاطر قابلة للإدارة ، وهناك ثلاث خطوات مقترحة للبدء .
النص واضح .
العناوين مرتبة .
والنتيجة تبدو منطقية .
لكن هل هذا يعني أن الإجابة جيدة فعلًا ؟
ليس بالضرورة .
يمكن لإجابة ضعيفة أن تكون مكتوبة بأسلوب ممتاز ، كما يمكن لإجابة صحيحة أن تبدو أقل إثارة لأنها أكثر تحفظًا وتذكر ما لا تعرفه .
وهنا تظهر مشكلة مهمة في استخدام الذكاء الاصطناعي :
من السهل تقييم شكل الإجابة ، وأصعب بكثير تقييم جودتها .
فاللغة السلسة تمنحنا شعورًا بأن هناك فهمًا عميقًا خلفها ، بينما قد تكون بعض الاستنتاجات مبنية على افتراض لم نذكره ، أو قد يكون سؤال مهم لم يُجب عنه أصلًا .
لذلك لا يكفي أن نسأل بعد قراءة الرد :
( هل أعجبتني الإجابة ) ؟
الأفضل أن نسأل :
( هل اجتازت الإجابة الاختبارات التي تجعلها صالحة للاستخدام ) ؟
وهذا المقال يقدم طريقة عملية لفعل ذلك .

إنفوجرافيك يوضح أن جودة إجابة الذكاء الاصطناعي لا تُقاس بشكلها المقنع فقط، بل بفحص الأدلة والافتراضات والمعلومات الناقصة ودرجة الثقة قبل اعتمادها

1. لا تبدأ بتقييم الإجابة قبل أن تعرف ما المطلوب منها

قبل أن نحكم على جودة أي جواب، يجب أن نعرف وظيفته .
لنأخذ السؤال :
( هل هذا المشروع جيد ) ؟
هذه صياغة واسعة جدًا .
ماذا تعني كلمة ( جيد ) ؟
هل نقصد :

  • مربحًا ؟
  • قليل المخاطر ؟
  • مناسبًا للميزانية ؟
  • سريع التنفيذ ؟
  • قابلًا للتوسع ؟
  • أو مناسبًا لشخص بعينه ؟

إذا لم نحدد معيار النجاح ، يمكن للنظام أن يعطي إجابة ممتازة لغويًا ولا نستطيع رغم ذلك معرفة إن كانت جيدة .
لذلك أول اختبار لا يخص الذكاء الاصطناعي أصلًا .
بل يخص السؤال :
ما الذي كان يجب أن تنجزه الإجابة ؟
قبل قراءة الرد النهائي، حاول أن تصوغ المهمة بجملة مثل :
أريد معرفة ما إذا كان الخيار مناسبًا ضمن ميزانية محددة ، وما أكبر ثلاثة مخاطر قد تمنع نجاحه .
الآن أصبح لدينا شيء يمكن اختباره .
إما أن الإجابة عالجته، أو لم تعالجه .

2. الإجابة الجيدة قد تكون غير مناسبة للسؤال

تخيل أنك سألت :
( أي الخيارين أقل تكلفة خلال ثلاث سنوات ) ؟
ثم أعطاك النظام تحليلًا ممتازًا عن :

  • الجودة .
  • سهولة الاستخدام .
  • الشعبية .
  • المرونة .
  • المزايا المستقبلية .

كل ذلك قد يكون صحيحًا ومفيدًا .
لكن السؤال كان عن التكلفة خلال ثلاث سنوات .
إذن الإجابة قد تكون جيدة في ذاتها ، لكنها ضعيفة بالنسبة للمهمة .
وهذا أول معيار حقيقي للجودة :
مدى المطابقة .
اسأل :
  • هل أجاب عن السؤال الذي طرحته فعلًا ؟
  • هل استخدم المعايير التي حددتها ؟
  • هل تجاهل شرطًا مهمًا ؟
  • هل أضاف موضوعات جانبية وأهمل جوهر المطلوب ؟

أحيانًا يكون أفضل تحسين للإجابة ليس إضافة معلومات جديدة ، بل إزالة ما لا يخدم السؤال .

3. افصل الادعاءات عن الأسلوب الذي يقدمها

خذ هذه الجملة :
( تشير المعطيات بوضوح إلى أن هذا الخيار سيحقق نموًا قويًا خلال العام المقبل ) .
الجملة قوية .
لكن فككها .
لدينا عدة ادعاءات مخفية :

  • توجد معطيات كافية .
  • هذه المعطيات تشير في الاتجاه نفسه .
  • يمكن استخدامها للتنبؤ بالعام المقبل .
  • النمو سيكون ( قويًا ) .
  • درجة اليقين مرتفعة بما يكفي لاستخدام كلمة ( بوضوح ) .

كل كلمة من هذه تحتاج أساسًا .
بدل أن تقرأ الفقرة كوحدة واحدة ، اسأل :
ما الادعاء الذي يمكن اختباره هنا ؟
هذه العادة مهمة لأن الأسلوب المقنع يمكن أن يدمج عدة افتراضات داخل جملة واحدة دون أن نشعر .
الهدف ليس التشكيك في كل كلمة .
بل تحويل النص الجميل إلى مجموعة ادعاءات نستطيع فحصها .

4. لكل ادعاء قوي يجب أن تعرف : بناءً على ماذا ؟ 

إذا قالت الإجابة :
( الخيار أ أقل تكلفة ) .
نسأل :
بناءً على أي أرقام ؟
إذا قالت :
( المخاطر منخفضة ) .
نسأل :
ما المخاطر التي تمت مراجعتها ؟
إذا قالت :
( هذا الاتجاه يتزايد ) .
نسأل :
ما الفترة الزمنية المستخدمة ؟
الجودة ترتفع عندما يمكن الانتقال من :
النتيجة
إلى :
الدليل الذي أنتجها .
وهنا يوجد فرق مهم بين إجابة تقول :
التكلفة السنوية 24 ألف ريال .
وإجابة تقول :
التكلفة الشهرية 2,000 ريال × 12 شهرًا = 24,000 ريال سنويًا .
الثانية ليست أفضل لأنها أطول .
بل لأنها قابلة للمراجعة .
وكلما كان القرار أكثر أهمية ، زادت حاجتنا إلى هذا المسار .

5. لا تسأل فقط ( ما الذي قالته ) ؟ بل ( ما الذي افترضته ) ؟

قد تكون جميع المعلومات المذكورة صحيحة ، ومع ذلك تكون النتيجة ضعيفة بسبب افتراض غير ظاهر .
لنفترض أنك طلبت حساب تكلفة مشروع لمدة عام .
أعطاك النظام :
180,000 ريال .
قد يكون الحساب دقيقًا تمامًا .
لكن هل افترض أن :

  • السعر سيظل ثابتًا ؟
  • الضرائب مشمولة ؟
  • جميع الموظفين سيعملون 12 شهرًا ؟
  • لا توجد تكلفة تأسيس ؟
  • الصيانة تبدأ منذ الشهر الأول ؟
  • سعر الصرف لن يتغير ؟

الافتراضات ليست أخطاء بالضرورة .
كل تحليل يحتاج إلى افتراضات .
المشكلة هي الافتراض غير المرئي .
لذلك من أقوى الأسئلة التي يمكنك استخدامها بعد أي تحليل مهم :
ما الافتراضات التي اعتمدت عليها للوصول إلى هذه النتيجة ؟
قد يتغير تقييمك للإجابة بالكامل بعد رؤية القائمة .

6. ابحث عن الشيء الذي كان يجب أن يظهر ولم يظهر

التقييم لا يتعلق فقط بما يوجد في الإجابة .
بل بما ينقصها أيضًا .
افترض أن النظام يقارن استثمارين ، ويذكر :

  • التكلفة .
  • العائد المتوقع .
  • مدة التنفيذ .

لكنه لا يتحدث عن السيولة أو احتمال الخسارة .
ربما لا توجد أي جملة خاطئة .
ومع ذلك قد يكون التحليل ناقصًا بشكل يجعله غير مناسب لاتخاذ القرار .
هذه نقطة مختلفة عن اكتشاف المعلومات الخاطئة .
أحيانًا تكون المشكلة :
إجابة صحيحة جزئيًا لكنها غير مكتملة .
ولكشف ذلك ، اسأل :
ما العامل المهم الذي يمكن أن يغير النتيجة ولم يدخل في هذا التحليل ؟
أو :
ما المعلومات التي لو عرفناها قد تجعل توصيتك مختلفة ؟
الإجابة الجيدة لا يجب أن تعرف كل شيء .
لكن يجب ألا تتصرف وكأن المعلومات المفقودة غير موجودة .

7. اختبر الإجابة بعكس اتجاهها

هذه من أكثر الطرق فائدة .
إذا قالت الإجابة :
( الخيار أ هو الأنسب ) .
لا تطلب منها إعادة شرح لماذا أ مناسب .
اطلب :
ابحث عن أقوى سبب يجعل هذه النتيجة خاطئة
ثم :
ما الظروف التي يصبح فيها الخيار ب أفضل ؟
نحن لا نطلب من النظام أن يناقض نفسه لمجرد المعارضة ، بل نستخدم السؤال لاكتشاف هشاشة النتيجة وافتراضاتها الخفية .
إذا تغيّرت التوصية بمجرد تغيير افتراض صغير ، فهذه معلومة مهمة .
أما إذا بقيت التوصية كما هي ، فهذا لا يثبت صحتها وحده ؛ لأن النموذج ما زال يراجع إجابة أنتجها هو نفسه .
إذن هذا اختبار ضغط مفيد ، لكنه ليس بديلًا عن التحقق المستقل عندما تكون النتيجة مهمة .

8. لا تخلط بين نبرة الثقة وقوة الدليل

النموذج يستطيع كتابة :
( بالتأكيد ) .
أو :
( تشير البيانات بوضوح ) .
لكن هذه الكلمات ليست قياسًا حقيقيًا لدرجة اليقين .
هناك فرق بين :
نبرة واثقة
و :
أدلة قوية .
لذلك إذا كانت الإجابة مهمة ، اطلب من النظام أن يميز بين ثلاثة أنواع من النتائج :

  • ما تدعمه المعلومات المتاحة مباشرة .
  • ما هو استنتاج مبني على تلك المعلومات .
  • ما لا توجد معلومات كافية لحسمه .

ثم اطلب منه توضيح أساس كل استنتاج. بهذه الطريقة يصبح التقييم مرتبطًا بالأدلة المتاحة ، لا بنبرة النموذج أو بدرجة ثقة يقررها عن نفسه .

9. اختبار الجودة الحقيقي يبدأ عندما نطلب شيئًا يمكن التحقق منه

هناك فرق بين :
( اشرح لماذا تعتقد أن هذا صحيح ) .
و :
( أعطني الطريقة التي يمكنني بها التحقق من أنه صحيح ) .
السؤال الثاني أقوى .
مثلًا إذا قيل :
( هذا الرقم يمثل متوسط النمو السنوي ) .
نستطيع طلب :

  • القيم المستخدمة .
  • الفترة .
  • المعادلة .
  • النتيجة قبل التقريب .

وإذا كان الادعاء مأخوذًا من مستند :

  • أين ورد ؟
  • هل هو تصريح مباشر ؟
  • أم استنتاج ؟

إذا كان من بيانات :

  • أي صفوف استُخدمت ؟
  • هل توجد قيم مستبعدة ؟

هذا هو المكان الذي يلتقي فيه المقال مع موضوع التحقق من المعلومات الذي تناولناه سابقًا .
لكن الفرق هنا أن هدفنا ليس اكتشاف علامة خطر فقط .
نحن نبني اختبار جودة كاملًا للإجابة بعد إنتاجها .
وتختلف طريقة التحقق بحسب نوع المهمة : إذا كانت الإجابة تعتمد على أرقام ، فأعد بناء الحساب كما شرحنا في مقال أخطاء الذكاء الاصطناعي في الحسابات ؛ وإذا كانت مبنية على مستند طويل، فتتبّع الاستنتاج إلى موضعه في المصدر كما شرحنا في دليل تحليل الملفات الطويلة .

10. نموذج عملي : إجابة تبدو ممتازة

لنفترض أنك سألت :
( هل من المناسب افتتاح فرع جديد الآن ) ؟
فجاءت الإجابة :
( نعم ، التوسع مناسب . المبيعات الحالية قوية ، والطلب يتزايد ، كما أن افتتاح فرع جديد سيزيد القدرة على الوصول إلى العملاء . أوصي بالبدء خلال ثلاثة أشهر )
من السهل أن نقول : 
إجابة ممتازة .
لكن لنطبق الاختبار .

أ. هل أجابت عن السؤال ؟

نعم .
قدمت قرارًا واضحًا .

ب. ما الأدلة ؟

( المبيعات قوية ) و( الطلب يتزايد ) .
لكن لا توجد أرقام .

ج. ما الافتراضات ؟

يبدو أنها تفترض أن نجاح الفرع الحالي يمكن نقله إلى موقع جديد .
وهذا لم يُثبت .

د. ماذا ينقص ؟

لا يوجد :

  • إيجار الموقع الجديد .
  • تكلفة التشغيل .
  • حجم السوق المحلي .
  • نقطة التعادل .
  • أثر التوسع على الفرع الحالي .

هـ. هل درجة الحسم مناسبة للأدلة ؟

الإجابة تستخدم عبارة :
( أوصي )
بصيغة أكثر حسمًا مما تسمح به البيانات المعروضة .
الآن تغير تقييمنا .
الإجابة ليست عديمة القيمة .
لكنها غير جاهزة لاتخاذ القرار .
وهذا بالضبط ما نريد أن يكشفه اختبار الجودة .

إنفوجرافيك يقارن بين إجابة تبدو مقنعة حول افتتاح فرع جديد وبين تقييمها الفعلي عبر فحص الأدلة والافتراضات والمعلومات الناقصة ودرجة الثقة قبل اعتماد القرار

11. استخدم ثلاثة مستويات بدل ( صحيح أو خطأ )

ليس كل جواب يقع في خانة واحدة .
يمكن أن نستخدم تصنيفًا عمليًا :
صالح للاستكشاف :
الإجابة تعطينا أفكارًا أو اتجاهات تستحق البحث .
صالح للعمل بعد التحقق :
التحليل جيد ، لكن توجد أرقام أو افتراضات يجب مراجعتها قبل التنفيذ .
مناسب للاستخدام ضمن حدود المهمة :
المعلومات الأساسية واضحة ، والأدلة قابلة للتتبع ، والافتراضات والقيود معروفة ، وقد أُجري مستوى التحقق المناسب لأثر الخطأ في هذه المهمة .
هذه المستويات أكثر واقعية من :
( الذكاء الاصطناعي صحيح )
أو
( الذكاء الاصطناعي لا يمكن الوثوق به ) .
جودة الإجابة تعتمد أيضًا على الغرض الذي ستستخدمها من أجله .

12. جودة الإجابة يجب أن ترتفع مع خطورة القرار

لا تحتاج إلى التدقيق نفسه إذا كنت تسأل :
( اقترح أسماء لرحلة عائلية ) .
كما لو كنت تسأل :
( أي خيار تمويلي أقل تكلفة خلال خمس سنوات ) ؟
كلما ارتفع أثر الخطأ ، نرفع مستوى التقييم .
في موضوع بسيط قد يكفي :

  • المعقولية .
  • الصلة .
  • وضوح الإجابة .

أما في قرار مهم ، فنحتاج أيضًا إلى :

  • الأدلة .
  • الحسابات .
  • الافتراضات .
  • المعلومات المفقودة .
  • التحقق المستقل .

هذا يمنعنا من الوقوع في طرفين غير عمليين :
الثقة في كل شيء
أو :
التحقق المرهق من كل جملة مهما كانت بسيطة .

13. أحيانًا أفضل علامة للجودة هي الاعتراف بعدم كفاية المعلومات

افترض أن البيانات غير كافية .
هناك إجابتان محتملتان .
الأولى :
( الخيار أ هو الأفضل ) .
والثانية :
( لا توجد معلومات كافية للحسم ؛ نحتاج إلى تكلفة التشغيل ومعدل الطلب قبل المقارنة ) .
أي الإجابتين أفضل ؟
في هذا المثال ، الثانية .
الجودة ليست القدرة على إنتاج جواب في كل مرة .
أحيانًا الجودة تعني معرفة أن السؤال لا يملك جوابًا موثوقًا بعد .
وهذه نقطة مهمة عند استخدام الذكاء الاصطناعي في القرارات .
نحن لا نريده أن يكون واثقًا دائمًا .
نريده أن يكون مفيدًا ومعايرًا لحدود المعلومات المتاحة .

14. اختبار الستين ثانية

ليس من العملي إجراء مراجعة طويلة لكل إجابة .
لذلك في الاستخدام اليومي يمكننا ضغط الإطار إلى ستة أسئلة :

  • هل أجاب عن السؤال الذي طرحته فعلًا ؟
  • ما أهم ادعاء في الإجابة، وما الدليل عليه ؟
  • ما الافتراض الذي استخدمه ولم أقله صراحة ؟
  • ما الشيء المهم الذي ربما أغفله ؟
  • هل توجد أرقام أو معلومات يمكن التحقق منها مباشرة ؟
  • هل درجة الحسم في الإجابة مناسبة لقوة الأدلة ؟

إذا اجتازت الإجابة هذه الأسئلة ، أصبحت أفضل بكثير من نص اخترناه فقط لأنه بدا مقنعًا .
وإذا فشلت في أحدها ، فنحن نعرف أين نراجع بدل إعادة السؤال كله من البداية .

إنفوجرافيك يوضح اختبار الستين ثانية لتقييم إجابة الذكاء الاصطناعي عبر ستة أسئلة : مطابقة السؤال ، قوة الدليل ، الافتراضات ، النواقص ، قابلية التحقق ، ومدى تناسب درجة الثقة مع الأدلة

15. لا تطلب من النظام أن يعطي نفسه درجة فقط

قد يبدو من السهل أن تقول :
( قيّم إجابتك من 10 ) .
لكنه ليس اختبارًا مستقلًا .
النظام الذي أنتج الإجابة هو نفسه الذي يحكم عليها .
يمكن أن يكون هذا مفيدًا كمرحلة أولى ، لكنه لا يكفي .
السؤال الأقوى هو :
( طبق هذه المعايير المحددة على الإجابة ، وأظهر لي موضع الضعف في كل معيار ) .
وهذه المراجعة مفيدة في كشف مشكلات محتملة ، لكنها لا تصبح تحققًا مستقلًا لمجرد أننا استخدمنا معايير أوضح ؛ فالنظام نفسه ما زال يراجع ناتجه .
ويمكن أيضًا فصل العملية :
أولًا نحدد معايير الجودة .
ثم ننتج الإجابة .
ثم نراجعها وفق المعايير .
كلما كان المعيار واضحًا ، أصبح التقييم أقل اعتمادًا على الانطباع .

16. أفضل إجابة ليست دائمًا الأطول

هذا مهم خصوصًا مع المحتوى الذي يبدو ( احترافيًا ) .
يمكن لإجابة طويلة أن :

  • تكرر الفكرة .
  • تخفي عدم اليقين .
  • تضيف معلومات لا علاقة لها بالسؤال .
  • وتزيد شعورنا بأنها عميقة لمجرد طولها .

وفي المقابل ، قد تكون إجابة قصيرة ممتازة إذا :

  • أجابت مباشرة .
  • عرضت الدليل .
  • ذكرت القيد .
  • وحددت ما يحتاج إلى تحقق .

لا تجعل عدد الكلمات معيارًا للجودة .
اسأل :
كم جزءًا من النص كان ضروريًا للوصول إلى نتيجة أفضل ؟
إذا كان حذف نصف الإجابة لا يغيّر شيئًا ، فربما لم يكن النصف الآخر يضيف قيمة .

17. الخلاصة

الذكاء الاصطناعي يستطيع إنتاج إجابات تبدو ممتازة بسرعة كبيرة .
وهذا بالضبط ما يجعل تقييمها مهمًا .
التنسيق الجيد ، والأسلوب الواثق، وكثرة التفاصيل لا تثبت أن النتيجة صالحة للاعتماد .
الإجابة الجيدة يجب أن تجتاز اختبارات أعمق :
هل أجابت عن المهمة الحقيقية ؟
ما الأدلة التي تحمل استنتاجاتها ؟
ما الافتراضات التي بنت عليها النتيجة ؟
ما الذي أغفلته ؟
هل تستطيع تتبع الأرقام والمعلومات ؟
وهل درجة الحسم في الإجابة مناسبة لقوة ما نعرفه فعلًا ؟
عندما نستخدم هذه الأسئلة، يتغير دورنا .
لا نعود مجرد قارئ ينتظر الإجابة .
نصبح مقيّمًا للنتيجة .
وهذه مهارة ستزداد أهميتها كلما أصبحت إجابات الذكاء الاصطناعي أكثر إقناعًا وأفضل صياغة .
فالهدف في النهاية ليس الحصول على إجابة تبدو جيدة .
بل الحصول على إجابة تستحق أن نبني عليها ما سنفعله بعد ذلك .