في هذا المقال
بعد إطلاق مساعد ذكي، لا تدِر الجودة بعدد الشكاوى أو نسبة الإجابات الصحيحة وحدها. سجّل كل حادث مهم بوصفه سلسلة: ماذا حدث، ومن تعرض له، وما الضرر، وكيف اكتُشف، ومتى احتُوي، وما الذي يمنع تكراره. الخطأ الذي رآه عميل واحد وصححه الموظف قبل التنفيذ ليس مثل الخطأ نفسه إذا عُرض على ألف عميل أو نفذ إجراءً لا يمكن الرجوع عنه.
هذا السجل يكمل اختبار ما قبل الإطلاق ولا يستبدله. الاختبار يتوقع أنماطًا معروفة؛ سجل الحوادث يكشف ما لم تتوقعه عندما يدخل النظام سياقًا وبيانات وسلوكًا حقيقيًا.
عرّف الحادث والحدث القريب من الضرر
الحادث نتيجة غير مقبولة وصلت إلى مستخدم أو نظام أو قرار، مثل معلومة تجارية خاطئة، أو وصول خارج الصلاحية، أو تنفيذ غير مناسب. أما «الحادث القريب» فهو مسار كان يمكن أن يسبب ضررًا لكن حاجزًا أوقفه، مثل مراجعة بشرية منعت إرسال عرض غير مصرح. تسجيل القريب مهم لأنه يكشف ضعفًا قبل أن يتحول إلى خسارة، لكنه لا يساوي ضررًا محققًا.
ينبغي أن يظل التعريف مرتبطًا بنطاق المساعد. رفض الإجابة خارج النطاق قد يكون سلوكًا صحيحًا، لا حادثًا. وفي المقابل، إجابة تبدو سليمة لغويًا قد تكون حادثًا إذا استندت إلى سياسة منتهية أو كشفت سياق عميل آخر.
يصف ملف NIST للذكاء الاصطناعي التوليدي نفسه موردًا مرافقًا لإطار إدارة المخاطر، هدفه إدخال اعتبارات الموثوقية في تصميم أنظمة الذكاء الاصطناعي وتطويرها واستخدامها وتقييمها. تصنيف الحوادث والحسابات أدناه نموذج تشغيلي مقترح، لا متطلب NIST ولا شهادة امتثال.
اجمع الحد الأدنى الذي يسمح بإعادة البناء
استخدم معرف حادث لا يتغير، ووقت الاكتشاف، ووقت أول تعرض وآخره، ونسخة النموذج والتعليمات وقاعدة المعرفة والأدوات، والقناة واللغة، والقرار أو الإجراء المتأثر. احفظ المدخل والمخرج بعد إزالة البيانات غير اللازمة وبصلاحيات وصول محدودة. أضف من اكتشف الحادث: عميل، موظف، مراقبة آلية أو اختبار عينة.
لا تنسخ محادثات العملاء إلى ملف مفتوح لمجرد التحقيق. احتفظ بالدليل في نظام مناسب، واربط السجل التشغيلي بمعرف يسمح للمصرح له بالرجوع إليه. حدّد مدة الاحتفاظ والمحو بحسب الحاجة والالتزامات المعمول بها.
قيّم أربعة أبعاد بدل ملصق «حرج»
- الشدة: أثر الحالة الواحدة على العميل أو الشركة، مع خطوط حمراء للخصوصية والصلاحيات والتنفيذ.
- التعرض: عدد المستخدمين أو القرارات أو المعاملات التي تلقت السلوك قبل الاحتواء.
- قابلية الرجوع: هل يمكن تصحيح النص، أم يجب عكس معاملة، أم لا يمكن إزالة الأثر؟
- فجوة الاكتشاف: الزمن بين أول تعرض واكتشاف المشكلة، لا زمن الرد بعد الشكوى فقط.
لا تسمح لدرجة مركبة بأن تخفي خطًا أحمر. حادث كشف بيانات خارج الصلاحية يبقى سببًا للتصعيد حتى لو كان التعرض حالة واحدة. أما الأخطاء الأقل شدة فيمكن ترتيبها بمزيج من التعرض والتكرار والتكلفة المتوقعة.
مثال افتراضي: أخطاء أكثر وخسارة أقل
نفترض مقارنة شهرين متتاليين لمساعد يعالج 10,000 تفاعل شهريًا. في الشهر الأول سُجل 40 خطأ بسيطًا، بمتوسط أثر قابل للتقدير 10 ريالات قطرية، وحادثان كبيران بمتوسط 3,000 ريال. في الثاني سُجل 60 خطأ بسيطًا ولم يقع حادث كبير، مع خمس حالات قريبة أوقفتها المراجعة. الأرقام افتراضية وليست نتائج عن فهد النعيمي أو أي شركة.
- الخسارة المقدرة للشهر الأول = 40 × 10 + 2 × 3,000 = 6,400 ريال.
- الخسارة المقدرة للشهر الثاني = 60 × 10 = 600 ريال.
- عدد الأخطاء ارتفع 50%، لكن الضرر المقدر انخفض 5,800 ريال وفق هذه الافتراضات.
لا تستنتج أن الشهر الثاني آمن. قد تكون الحالات القريبة إشارة إلى أن حاجز المراجعة يعمل، أو إلى تزايد محاولات عالية الخطر. اعرضها منفصلة، وقيّم تكلفة المراجعة، وحجم التفاعلات الذي لم يُفحص. ولا تعتبر الخسارة المقدرة وفرًا محققًا؛ أجرِ تحليل حساسية إذا كان أثر الحادث الكبير غير مؤكد.
احتوِ أولًا ثم أصلح السبب
حدد إجراء الاحتواء بحسب النطاق: تعطيل أداة تنفيذ، أو إعادة توجيه فئة إلى الإنسان، أو تثبيت نسخة معرفة، أو الرجوع إلى إصدار سابق. استخدم منهج إيقاف الأتمتة واستعادتها حتى يكون القرار ممكنًا تحت الضغط. الاحتواء يقلل التعرض لكنه لا يغلق الحادث.
بعد الاحتواء، اسأل عن السبب الأقرب في النظام: معرفة قديمة، استرجاع سياق خاطئ، تعليمات متعارضة، صلاحية زائدة، غياب تحقق، أو تصنيف غير صحيح. تجنب عبارة «النموذج هلوس». فهي تصف النتيجة ولا تعين مالكًا أو إجراءً. أضف الحالة إلى مجموعة اختبار، وغيّر الحاجز المناسب، وأعد الاختبار على الحالات المجاورة لا المثال الواحد فقط.
لا تغلق الحادث عند نشر الإصلاح
يتطلب الإغلاق دليلًا: نجاح اختبار الانحدار، وتحقق مستقل، ومراقبة فترة متفق عليها، وعدم تكرار النمط ضمن حجم تعرض معلوم. سجل ما تغير، ومن وافق، وطريقة الرجوع. إذا زادت الإحالات البشرية بعد الإصلاح، احسب أثرها عبر اقتصاديات طابور الاستثناءات.
اربط الحوادث الجديدة بـ بوابة قبول إصدار المساعد الذكي. الحادث الحرج يصبح حالة منع في الإصدار التالي، لكن لا تجعل مجموعة الاختبار دفترًا لكل حادث وقع؛ اجمع الأنماط المتقاربة حتى تبقى قابلة للصيانة.
لوحة أسبوعية تقود إلى قرار
اعرض الحوادث حسب الشدة والتعرض، والحالات القريبة، ومتوسط وفترة المئين 90 للاكتشاف والاحتواء، ونسبة التكرار، والحوادث المفتوحة بلا مالك، وحجم الاستخدام المتأثر. راقب أيضًا نسبة الحوادث التي اكتشفها العملاء؛ انخفاضها مع ثبات الاختبارات قد يعني تحسن المراقبة الداخلية.
القرار التنفيذي: أنشئ سجلًا واحدًا يشترك فيه المنتج والعمليات والمخاطر، وعيّن قائدًا لكل حادث وموعد تحقق. صعّد الخطوط الحمراء فورًا، ورتب البقية بحسب الضرر والتعرض لا الضجيج. إذا كان الفريق لا يستطيع إعادة بناء ما حدث أو قياس من تعرض له، فالأولوية للرصد وحدود الصلاحية قبل توسيع الأتمتة.
تواصل عبر واتساب
