عندما يستخدم الذكاء الاصطناعي الكمبيوتر : كيف يفهم الشاشة ويتعامل مع الواجهات ؟
شرح مبسط لكيفية استخدام الذكاء الاصطناعي للكمبيوتر والمتصفح ، وكيف يفهم الشاشة وينقر ويكتب ويتعامل مع الواجهات، مع توضيح حدود الأمان والدقة .
تطلب من نظام ذكاء اصطناعي أن يبحث عن موعد مناسب ، فيفتح المتصفح ، ينتقل بين الصفحات ، يملأ حقولًا ، يضغط أزرارًا ، ثم يتوقف قبل خطوة نهائية تحتاج إلى موافقتك .
ما يحدث هنا مختلف عن المحادثة التقليدية .
النظام لم يكتفِ بإخبارك أين تنقر .
لقد تعامل مع واجهة حاسوب ونفذ خطوات داخلها .
وهذه القدرة تفتح بابًا مهمًا أمام أنظمة الذكاء الاصطناعي : بدل أن تحتاج كل خدمة إلى تكامل برمجي مخصص ، يمكن للنظام في بعض الحالات استخدام الواجهة نفسها التي صُممت أصلًا للإنسان .
يرى الشاشة ، يحدد ما يظهر عليها ، يختار الخطوة التالية ، ينفذها ، ثم ينظر مرة أخرى ليرى ما تغير .
لكن كلمة ( يرى ) هنا تحتاج إلى بعض الدقة .
النظام لا ينظر إلى الشاشة بعين بشرية ، ولا يفهم كل عنصر فيها بالطريقة نفسها التي نفهمها نحن . إنه يحلل تمثيلًا للواجهة — قد يكون صورة للشاشة أو معلومات منظمة عنها أو مزيجًا من الاثنين — ثم يحاول تحديد الإجراء المناسب .
ولهذا فإن استخدام الكمبيوتر بالذكاء الاصطناعي ليس مجرد ( تحريك ماوس آلي ) .
إنه حلقة مستمرة من :
إدراك الحالة → اختيار الإجراء → التنفيذ → فحص النتيجة .
وفهم هذه الحلقة يوضح لنا لماذا يستطيع النظام تنفيذ مهام مدهشة أحيانًا ، ولماذا يمكن أن يخطئ في زر واضح أمام الإنسان أحيانًا أخرى .
1. لماذا يحتاج الذكاء الاصطناعي إلى استخدام الواجهة أصلًا ؟
البرامج تستطيع التواصل مع بعضها عادة عبر واجهات برمجية .
إذا كان هناك تكامل مباشر، يمكن للنظام أن يطلب مثلًا :
( أعطني قائمة المواعيد المتاحة ) .
وتعيد الخدمة البيانات مباشرة في صيغة منظمة .
هذه طريقة قوية وفعالة .
لكن العالم الرقمي مليء ببرامج ومواقع لا توفر لكل مهمة واجهة برمجية مناسبة ، أو لا يكون النظام متصلًا بها أصلًا .
ومع ذلك توجد واجهة يستطيع الإنسان استخدامها .
صفحة ويب تحتوي :
- أزرارًا .
- قوائم .
- حقول إدخال .
- جداول .
- نوافذ .
- رسائل تنبيه .
إذا استطاع الذكاء الاصطناعي التعامل مع هذه العناصر ، فإنه يحصل على طريقة عامة نسبيًا لاستخدام عدد كبير من الأنظمة .
بدل أن يعرف مسبقًا وظيفة برمجية لكل موقع ، يستطيع أحيانًا التعامل مع ما يظهر على الشاشة .
وهنا تكمن قوة الفكرة .
لكنها أيضًا مصدر التعقيد .
2. الشاشة ليست مجموعة أزرار واضحة دائمًا
بالنسبة للإنسان ، قد يكون من السهل أن ترى :
زر ( التالي ) موجود أسفل اليمين .
لكن ماذا يحتاج النظام إلى معرفته قبل أن ينقر ؟
يحتاج أولًا إلى تحديد أن الشكل الموجود أمامه زر أصلًا .
ثم قراءة النص المكتوب عليه .
ثم فهم أن ( التالي ) هو الإجراء المطلوب في هذه المرحلة .
ثم تحديد مكانه .
ثم تنفيذ النقر .
ثم التأكد من أن الصفحة انتقلت بالفعل .
وحتى هذه المهمة البسيطة قد تصبح أصعب إذا :
- كانت النافذة صغيرة .
- ظهر إعلان فوق الزر .
- تغير تخطيط الصفحة .
- احتوى الموقع على زرين متشابهين .
- كان النص صغيرًا .
- ظهرت نافذة منبثقة .
- تغيرت اللغة .
- أو أصبح الزر غير نشط .
إذن ما نراه نحن كـ ( نقرة واحدة ) قد يكون بالنسبة للنظام سلسلة من عمليات الإدراك والاختيار والتحقق .
3. دورة العمل : انظر ، قرر ، نفذ ، ثم انظر من جديد
يمكن تبسيط طريقة العمل إلى أربع مراحل .
أ. إدراك الحالة الحالية
يحصل النظام على صورة أو تمثيل لما يظهر على الشاشة .
يحاول تحديد :
- النصوص .
- الحقول .
- القوائم .
- الأزرار .
- الرسائل .
- وما الذي تغير عن الخطوة السابقة .
ب. تحديد الهدف القريب
المهمة الكبرى قد تكون :
( احجز موعدًا مناسبًا ) .
لكن الخطوة التالية قد تكون فقط :
افتح قائمة التاريخ .
هنا يحتاج النظام إلى تحويل الهدف الكبير إلى إجراء صغير قابل للتنفيذ .
ج. تنفيذ الإجراء
قد يكون الإجراء :
- نقرة .
- كتابة نص .
- تمريرًا إلى الأسفل .
- فتح قائمة .
- اختيار عنصر .
- الرجوع إلى الصفحة السابقة .
- أو الانتظار حتى تكتمل الصفحة.
د. فحص النتيجة
بعد التنفيذ لا ينبغي افتراض النجاح .
تُقرأ الحالة الجديدة .
هل فُتحت القائمة فعلًا ؟
هل ظهرت رسالة خطأ ؟
هل تغيّر السعر ؟
هل نُقل النظام إلى صفحة أخرى ؟
ثم تبدأ الدورة من جديد .
وهذه الحلقة تجعل الاستخدام الحاسوبي قريبًا جدًا من فكرة وكلاء الذكاء الاصطناعي : النظام لا يعطي خطوة واحدة فقط ، بل يتابع حالة المهمة ويقرر ما يجب فعله بعدها .
4. مثال عملي : تعبئة نموذج متعدد الصفحات
تخيل أن لديك نموذجًا يحتوي على أربع صفحات .
المطلوب إدخال معلومات موجودة في مستند سبق أن أعطيته للنظام .
في الصفحة الأولى تظهر بيانات أساسية .
يقرأ النظام الحقول ، ويستخرج القيم المناسبة من المستند، ثم يكتبها .
يضغط ( التالي ) .
لكن الصفحة الثانية تعرض رسالة :
( صيغة التاريخ غير صحيحة ) .
النظام الجيد لا يواصل الضغط على الزر نفسه بلا نهاية .
يحتاج إلى :
- اكتشاف رسالة الخطأ .
- معرفة الحقل المتسبب بها .
- فهم الصيغة المطلوبة .
- تعديل القيمة .
- إعادة المحاولة .
- التأكد من الانتقال .
هنا تظهر قيمة الحلقة .
لو كان النظام ينفذ سلسلة نقرات محفوظة مسبقًا ، لفشل بمجرد تغير أي شيء .
أما عندما يستطيع إعادة قراءة الحالة ، فيمكنه أحيانًا تعديل خطته أثناء التنفيذ .
5. لماذا لا تكفي الأتمتة التقليدية دائمًا ؟
برامج الأتمتة تستطيع منذ سنوات النقر والكتابة داخل الواجهات .
لكن الأتمتة التقليدية تعتمد غالبًا على مسار أو عناصر وقواعد محددة مسبقًا ، مثل معرفة العنصر الذي يجب التعامل معه أو الحالة التي ينبغي أن تنتقل إليها العملية .
وهذا قد يكون شديد الكفاءة والثبات عندما تكون الواجهة والمهمة معروفتين ومستقرتين .
لكن إذا تغير تصميم الصفحة أو ظهرت حالة لم تُبرمج مسبقًا ، قد تتوقف العملية .
النظام المعتمد على نموذج يستطيع في بعض الحالات التعامل مع المعنى بدل الاعتماد فقط على مسار ثابت .
مثلًا ، إذا انتقل زر :
( إرسال الطلب )
من اليمين إلى اليسار ، قد يظل النظام قادرًا على التعرف عليه من النص والسياق .
لكن هذا لا يعني أن الأتمتة التقليدية أصبحت عديمة الفائدة .
العكس قد يكون صحيحًا .
العمليات البرمجية المحددة تكون أحيانًا :
- أسرع .
- أكثر ثباتًا .
- أسهل في الاختبار .
- وأقل عرضة للتفسير الخاطئ .
إذن الهدف ليس استبدال كل أتمتة بالذكاء الاصطناعي .
بل استخدام الإدراك المرن عندما تكون الواجهة أو المهمة بحاجة إليه .
6. الرؤية وحدها لا تكفي
حتى إذا عرف النظام أن أمامه زرًا ، ما زال عليه أن يفهم :
هل ينبغي الضغط عليه ؟
تخيل صفحة شراء تحتوي على :
- إضافة إلى السلة .
- شراء الآن .
- تطبيق كوبون .
- حذف المنتج .
- تأكيد الدفع .
كلها عناصر واضحة بصريًا .
لكن الاختيار الصحيح يعتمد على نية المستخدم .
إذا قال المستخدم :
( اعرف لي السعر النهائي بعد الخصم ) .
فليس معنى رؤية زر ( تأكيد الدفع ) أن النظام يملك الحق في الضغط عليه .
وهذا هو الفرق بين :
ما يستطيع النظام فعله تقنيًا
و :
ما يحق له فعله داخل المهمة .
كلما اتسعت قدرة النظام على التعامل مع الحاسوب ، ازدادت أهمية هذا الفصل .
كما أن المحتوى الذي يقرأه النظام داخل الصفحة قد يحاول التأثير في قراراته ، وهي مشكلة تناولناها بالتفصيل في مقال حقن التعليمات .
7. نقطة اللاعودة : ليست كل النقـرات متساوية
يمكن التراجع بسهولة عن بعض الإجراءات .
فتح صفحة خاطئة ؟ ارجع .
كتبت نصًا في حقل ؟ امسحه .
لكن بعض الإجراءات قد تكون مختلفة :
فتح صفحة خاطئة ؟ ارجع .
كتبت نصًا في حقل ؟ امسحه .
لكن بعض الإجراءات قد تكون مختلفة :
- إرسال طلب .
- حذف ملف .
- نشر محتوى .
- إرسال رسالة .
- تحويل مبلغ .
- تعديل بيانات مهمة .
- تأكيد شراء .
هذه الخطوات تحتاج إلى معاملة خاصة .
أفضل تصميم لا يسأل فقط :
( هل النظام واثق أنه وجد الزر الصحيح ) ؟
بل أيضًا :
( ما أثر الضغط على هذا الزر ) ؟
يمكن أن تكون هناك نقطة يسلّم عندها النظام التحكم للمستخدم :
( وصلت إلى مرحلة التأكيد . هل تريد المتابعة ) ؟
هذه ليست إعاقة للأتمتة .
بل طريقة لوضع الإنسان عند القرار الذي يصعب التراجع عنه .
8. الخطأ البصري قد يتحول إلى خطأ تنفيذي
في المحادثة العادية ، إذا أخطأ النموذج في قراءة كلمة داخل صورة ، قد تحصل على وصف غير صحيح .
أما عند استخدام الكمبيوتر ، فقد ينتج عن الخطأ البصري إجراء .
مثلًا :
النظام يرى زرين متجاورين :
حفظ و حذف
إذا أخطأ في تحديد مكان أحدهما ، فالمشكلة لم تعد مجرد إجابة لغوية .
ولهذا تحتاج أنظمة الاستخدام الحاسوبي إلى مراجعة الحالة باستمرار وعدم التعامل مع توقعاتها البصرية باعتبارها يقينًا .
كما تصبح عناصر الواجهة الحساسة بحاجة إلى مستوى أعلى من التأكيد .
9. لماذا تكون الواجهات الديناميكية أصعب ؟
صفحات الإنترنت ليست صورًا ثابتة .
قد يتغير المحتوى أثناء استخدامك لها .
تفتح الصفحة .
وبعد ثانية يظهر مربع موافقة .
ثم يتحرك أحد العناصر لأن صورة اكتمل تحميلها .
ثم تظهر نافذة دردشة فوق الزر .
ثم يتغير النص بعد اختيار عنصر من القائمة .
النظام الذي يعتمد على حالة سابقة قد ينقر مكانًا لم يعد يحتوي العنصر نفسه .
لذلك يجب أن تكون هناك علاقة وثيقة بين :
الحالة التي رأى فيها النظام العنصر
و :
اللحظة التي ينفذ فيها الإجراء .
كلما طال الفاصل ، ازدادت احتمالات أن تكون الشاشة قد تغيرت .
وهذا سبب يجعل إعادة الملاحظة بعد الخطوات المهمة جزءًا أساسيًا من العملية .
10. ماذا عن المواقع التي تحتوي على صور ورسوم لا نصوص فقط ؟
هنا تلتقي قدرة استخدام الحاسوب مع الذكاء الاصطناعي متعدد الوسائط .
قد تحتوي الواجهة على :
قد تحتوي الواجهة على :
- مخططات .
- صور منتجات .
- خرائط .
- أيقونات .
- ملفات معاينة .
- رسوم لا يمكن فهمها من النص وحده .
إذا استطاع النظام تفسير هذه العناصر بصريًا، يصبح قادرًا على تنفيذ مهام لا تعتمد على النص فقط .
لكن القيود تبقى .
تفصيل صغير داخل رسم .
زر ذو تباين ضعيف .
رقم صغير على صورة .
أو عنصر يظهر لثانية واحدة .
كلها قد تسبب خطأ .
لهذا فإن ( يرى الشاشة ) لا ينبغي أن تُفهم على أنها :
( يدرك كل ما يراه الإنسان بالدقة نفسها ) .
11. متى نستخدم واجهة الحاسوب بدل التكامل المباشر ؟
إذا توفرت واجهة برمجية موثوقة لمهمة محددة ، فقد تكون أكثر مباشرة وثباتًا من التعامل مع الواجهة بالنقر والكتابة .
لماذا ؟
لأن الأمر البرمجي :
أنشئ حدثًا في الساعة 10:00
أكثر مباشرة من :
- فتح التقويم .
- العثور على التاريخ .
- النقر .
- ملء الحقول .
- التأكد من ظهور الحدث .
لكن استخدام الواجهة يصبح مفيدًا عندما :
- لا توجد واجهة برمجية .
- المهمة تمتد بين أنظمة مختلفة .
- التطبيق قديم .
- التكامل المباشر مكلف .
- أو يحتاج النظام إلى التعامل مع تجربة صُممت أصلًا للإنسان .
إذن ( استخدام الكمبيوتر ) ليس دائمًا الطريق الأفضل .
هو أحد طرق الوصول إلى النظام .
12. ماذا يعني النجاح في مهمة حاسوبية ؟
إذا طلبت من النظام :
( ابحث عن ثلاث خيارات مناسبة ) .
ثم عاد بثلاثة روابط ، هل نجح ؟
ربما .
لكن إذا طلبت :
( املأ نموذجًا واحفظه كمسودة ) .
فنجاح المهمة يتطلب أكثر من الوصول إلى الصفحة الصحيحة .
يجب أن نعرف :
- هل الحقول صحيحة ؟
- هل ترك شيئًا مطلوبًا ؟
- هل استخدم أحدث البيانات ؟
- هل حفظ المسودة ؟
- هل نفذ أي خطوة إضافية لم نطلبها ؟
وهنا يظهر الفرق بين تقييم الإجابة وتقييم المسار التنفيذي .
في الوكيل الحاسوبي، نحتاج إلى تقييم الاثنين .
قد تكون النتيجة النهائية صحيحة رغم أن الطريق إليها احتوى خطوات خطرة .
وقد تكون الخطوات منطقية لكن النتيجة لم تُحفظ أصلًا .
13. الواجهة ليست الحقيقة الوحيدة للنظام
إذا ظهرت على الشاشة عبارة :
( تم الحفظ بنجاح ) .
فقد يبدو أن المهمة انتهت .
لكن في الأنظمة المهمة قد نحتاج إلى تحقق أقوى .
هل ظهر الملف فعلًا في القائمة ؟
هل بقي التغيير موجودًا بعد إعادة تحميل الصفحة ؟
هل يوجد رقم مرجعي أو سجل يمكن الرجوع إليه ؟
هل بقي التغيير موجودًا بعد إعادة تحميل الصفحة ؟
هل يوجد رقم مرجعي أو سجل يمكن الرجوع إليه ؟
هذا مهم لأن الواجهة قد تعرض رسالة نجاح قبل أن نكون متأكدين أن الحالة النهائية استقرت .
لذلك كلما زادت حساسية المهمة ، يجب أن يصبح تعريف ( النجاح ) أكثر صرامة .
14. الخلاصة
عندما يستخدم الذكاء الاصطناعي الكمبيوتر ، لا تحدث عملية سحرية تجعله ( يجلس أمام الشاشة مثل الإنسان ) .
هناك حلقة تقنية واضحة :
يفهم الحالة الحالية، يختار الإجراء التالي ، ينفذه، ثم يراجع ما حدث .
هذه القدرة تسمح للأنظمة بالتعامل مع واجهات صُممت أصلًا للبشر ، وتفتح مجالًا لتنفيذ مهام لا تملك تكاملًا برمجيًا مباشرًا .
لكنها تضيف نوعًا جديدًا من الخطأ .
في المحادثة ، قد تكون النتيجة الخاطئة مجرد جملة .
أما في الحاسوب ، فقد تتحول إلى :
هناك حلقة تقنية واضحة :
يفهم الحالة الحالية، يختار الإجراء التالي ، ينفذه، ثم يراجع ما حدث .
هذه القدرة تسمح للأنظمة بالتعامل مع واجهات صُممت أصلًا للبشر ، وتفتح مجالًا لتنفيذ مهام لا تملك تكاملًا برمجيًا مباشرًا .
لكنها تضيف نوعًا جديدًا من الخطأ .
في المحادثة ، قد تكون النتيجة الخاطئة مجرد جملة .
أما في الحاسوب ، فقد تتحول إلى :
- نقرة خاطئة .
- رسالة مرسلة .
- ملف محذوف .
- أو قرار تم تأكيده .
ولهذا فإن جودة هذه الأنظمة لن تعتمد فقط على قدرتها على رؤية الشاشة .
ستعتمد أيضًا على :
فهم نية المستخدم ، وتحديد الصلاحيات ، واكتشاف التغير في الواجهة ، والتمييز بين المعلومات والتعليمات ، ومعرفة متى يجب أن تتوقف وتطلب تدخل الإنسان .
السؤال الحقيقي إذن ليس :
( هل يستطيع الذكاء الاصطناعي استخدام الكمبيوتر ) ؟
فهذه القدرة موجودة بالفعل في بعض الأنظمة والبيئات .
السؤال الأكثر أهمية هو :
( ما الذي ينبغي أن نسمح له بفعله وحده ، وما الذي يجب أن يبقى تحت سيطرة الإنسان ) ؟
الانضمام إلى المحادثة
التزم بالاحترام ، وسيتم نشر تعليقك بعد المراجعة .