في هذا المقال
قد يعطي المساعد الذكي جوابًا قديمًا من دون أن يتعطل النموذج أو يتغير الكود. تتغير سياسة الاسترجاع، أو سعر الخدمة، أو ساعات العمل، بينما تبقى نسخة سابقة في قاعدة المعرفة. لذلك لا يكفي اختبار المساعد يوم الإطلاق؛ يجب إدارة صلاحية المصدر نفسه بمالك وتاريخ سريان ومحفز تحديث واختبار يركز على القرارات عالية الأثر.
يقترح دليل NIST AI RMF ضمن وظيفة القياس مراقبة المدخلات الخارجية، وتوثيق الأداء قبل النشر وبعده، وتحديد فترة مناسبة للتحقق من استمرار الدقة، ومراقبة النظام في الإنتاج مع تغير البيئة. الطريقة التالية تطبيق تشغيلي مقترح لهذه الفكرة، وليست شهادة امتثال ولا متطلبًا حرفيًا من NIST.
افصل حداثة المعرفة عن جودة النموذج
إذا استند المساعد إلى مستند منتهي وأعاد محتواه بدقة، فالمشكلة ليست «هلوسة» بالمعنى المعتاد. إنها خلل في دورة حياة المعرفة. وإذا كان المستند صحيحًا لكن الاسترجاع اختار جزءًا غير مناسب، فهذه مشكلة استرجاع. وإذا كان السياق صحيحًا ثم أضاف النموذج ادعاءً غير مدعوم، فهذه مشكلة توليد. الفصل يحدد المالك والإجراء بدل جمع كل الأخطاء تحت عنوان واحد.
ابدأ من قاعدة معرفة صغيرة وموثوقة، ثم أضف آلية تمنعها من أن تصبح صغيرة وقديمة. الثقة لا تأتي من عدد الملفات، بل من القدرة على معرفة أي نسخة كانت فعالة عندما صدر الجواب.
أنشئ سجل مصدر لا مجلد ملفات فقط
لكل وثيقة أو جزء معرفي، سجل الحقول التالية:
- المصدر الرسمي ورابطه أو موقعه الداخلي، والنسخة أو بصمة المحتوى.
- مالك العمل الذي يقر المعنى، ومالك تقني مسؤول عن الإدخال والفهرسة.
- تاريخ السريان، وتاريخ المراجعة التالية، وحالة «ساري، قيد الاستبدال، منتهي».
- الأسئلة والقرارات التي قد تعتمد عليه، واللغة والفئة والعملاء المتأثرون.
- درجة الأثر عند الخطأ، وحجم الاستخدام المتوقع، وطريقة الرجوع إلى النسخة السابقة.
لا تجعل تاريخ التعديل وحده دليلًا على الصلاحية. قد يعدّل موظف تنسيق المستند من دون تغيير السياسة، وقد تتغير السياسة في نظام آخر من دون لمس الملف الذي يقرأه المساعد.
اجمع بين المراجعة الدورية ومحفزات التغيير
المراجعة الشهرية لكل شيء مكلفة ولا تضمن اكتشاف التغيير في يومه. استخدم مراجعات أسرع للمصادر عالية الأثر، وأبطأ للمحتوى المستقر، مع محفزات فورية: اعتماد سياسة جديدة، تغير السعر، نشر لائحة، تغيير صلاحية، إطلاق منتج، أو ارتفاع مفاجئ في إحالات الموظفين وشكاوى «المعلومة قديمة».
عند وصول المحفز، لا تستبدل الملف فقط. حدد متى يبدأ النص الجديد، وما الحالات التي تبقى عليها القاعدة القديمة، وأعد فهرسة النطاق المتأثر، ثم اختبر الأسئلة المرتبطة به. احتفظ بأثر يربط الإصدار بالمصدر والوقت حتى تستطيع إعادة بناء جواب عميل سابق.
مثال افتراضي: راجع بحسب التعرض لا بالتساوي
نفترض قاعدة فيها 400 جزء معرفي: 80 جزءًا عالي الأثر يخص الأسعار والموافقات وسياسات العميل، و320 جزءًا منخفض الأثر يشرح معلومات عامة. الأرقام افتراضية وليست أداءً لموقع أو شركة بعينها.
- مراجعة 80 جزءًا شهريًا بمتوسط 8 دقائق = 640 دقيقة، أو 10.7 ساعات.
- مراجعة 320 جزءًا كل ثلاثة أشهر بمتوسط 4 دقائق = 1,280 دقيقة في الربع، أو 7.1 ساعات شهريًا كمعدل.
- الإجمالي نحو 17.8 ساعة شهريًا. عند تكلفة محملة 120 ريالًا للساعة، تكون تكلفة المراجعة نحو 2,136 ريالًا.
نفترض أن الخطة الحالية تنتج ستة أخطاء معرفة قديمة شهريًا بمتوسط أثر قابل للتقدير 450 ريالًا، و12 تصحيحًا يدويًا بتكلفة 50 ريالًا، أي 3,300 ريال. بعد تجربة محدودة، انخفضت إلى خطأين وأربعة تصحيحات، أي 1,100 ريال. المنفعة التقديرية 2,200 ريال، وصافي الفرق 64 ريالًا فقط بعد تكلفة المراجعة.
هذا لا يثبت نجاحًا ماليًا قويًا؛ بل يكشف أن البرنامج قريب من نقطة التعادل وأن الافتراضات حساسة. إذا كانت الأخطاء منخفضة الأثر فعلًا، قد تكون مراجعة كل ثلاثة أشهر كافية. أما إذا كان خطأ واحد قادرًا على منح سعر أو صلاحية غير صحيحة، فلا ينبغي اختزال القرار في المتوسط المالي وحده.
اختبر التغيير قبل توسيع النطاق
أنشئ مجموعة أسئلة تربط كل إجابة بمصدر متوقع وتاريخ سريان. اختبر النسخة الجديدة على الأسئلة المتأثرة وحالات حدودية: سؤال قبل تاريخ السريان وبعده، عميل بعقد قديم، لغة عربية وإنجليزية، ومعلومة غير موجودة يجب إحالتها بدل اختراعها. سجّل هل استُرجع المصدر الصحيح، وهل نُسب الجواب إليه، وهل امتنع المساعد عندما تعارضت نسختان.
مرّر التحديث عبر بوابة قبول الإصدار بحسب تكلفة الخطأ. لا يلزم إعادة اختبار كل النظام بالطريقة نفسها؛ استخدم اختبارًا واسعًا صغيرًا لاكتشاف الأثر الجانبي، واختبارًا عميقًا للنطاق المتغير.
لوحة حداثة تقود إلى إجراء
- نسبة المصادر عالية الأثر التي لها مالك وتاريخ سريان.
- عدد المصادر المنتهية التي ما زالت قابلة للاسترجاع.
- الوقت من اعتماد التغيير إلى اجتياز الاختبار في الإنتاج.
- نسبة الإجابات التي تعرض مصدرًا ساريًا عند الطلب.
- الحوادث الناتجة من معرفة قديمة، وحجم الاستخدام المتأثر قبل الاحتواء.
- التحديثات التي فشلت في الرجوع أو أعادت إدخال نسخة منتهية.
إذا وقع خطأ، سجله ضمن إدارة حوادث المساعد بحسب الضرر والتعرض. لا تغلق الحادث بمجرد تحديث الملف؛ تحقق من إزالة النسخة القديمة من نتائج الاسترجاع ومن الحالات المخزنة مؤقتًا.
حدود البرنامج وقرار التنفيذ
لا تمنع إدارة الحداثة كل الأخطاء: قد يكون المصدر الرسمي نفسه غامضًا، أو يتأخر المالك في اعتماد التغيير، أو يصل المستخدم بصياغة لم تغطها الاختبارات. كما أن المراجعة الآلية لا تستطيع دائمًا تقرير معنى اختلاف قانوني أو تجاري. لذلك تحتاج المصادر الحرجة إلى مالك بشري وصلاحية واضحة لإيقاف الإجابة أو إحالتها.
القرار التنفيذي: صنّف المصادر بحسب أثر القرار وحجم الاستخدام، وابدأ بأعلى عشرين مصدرًا يغير سعرًا أو التزامًا أو صلاحية. أضف لها مالكًا وسريانًا ومحفز تحديث واختبارًا قابلًا للإعادة. وسّع البرنامج عندما ينخفض زمن التحديث والحوادث من دون أن تتحول المراجعة إلى عمل يدوي شامل لا يميز بين المهم والهامشي.
تواصل عبر واتساب
