الكاشف الذي لا يُطلِق إنذاراً أبداً دقيق بنسبة 99.5٪

عشرون ألف حدث، مئة منها شذوذ. أجب «عاديّ» عن كلّ شيء فتكون دقيقاً بنسبة 99.50٪.

وليست هذه دعابة عن المقاييس. إنّها القيد الذي بُني عليه هذا الميدان كلّه، وهي تنجو من كلّ محاولة للالتفاف عليها بنموذج أفضل.

كلّ مقياس يرث معدّل الأساس

خذ كاشفاً يعمل فعلاً: يرتّب الشذوذ فوق الأحداث العادية، بالتداخل الذي لأيّ مسجِّل حقيقيّ. قيّمه مرّتين:

كلاهما صحيح. وهما يقسمان على شيئين مختلفين.

فـمعدّل الإيجابيات الكاذبة يقسم على 19900 حدث عاديّ، فألف إنذار كاذب يزحزحه خمس نقاط ويبقى منحنى ROC ملتصقاً بالزاوية. أمّا الدقّة فتقسم على عدد الإنذارات، حيث تكون ألف إنذار كاذب هي الطابور كلّه.

فالسؤال الذي يجيب عنه المقياس أهمّ من الرقم. فـROC يصف الكاشف. والدقّة تصف ما يراه من هو في المناوبة:

قرابة إنذارين كاذبين لكلّ عثور حقيقيّ، من نموذج تقول مساحته 0.9468.

الشكل أدناه يحسب المقياسين من نموذج التسجيل لا من سحبة واحدة، وهذا يشحذ التمرين أعلاه. فـ ROC لا «تكاد لا تتحرّك» حين تصير الشواذّ أكثر عشر مرات؛ بل لا تتحرّك البتّة، لأنها دالّة في توزيعَي الدرجات لا غير. أما الدقّة المتوسّطة فتتضاعف وزيادة. واللوحة الثانية تحوّل طاقة المراجعة إلى الرقمين اللذين يقرّران ما تراه المؤسسة فعلًا.

ثلاث عائلات، ثلاث نقاط عمى

من أين تأتي الدرجة؟ ابنِ بيانات بنوعين من الشذوذ: عشر نقاط بعيدة فوق كلّ شيء، وعشرون في الفجوة المتفرّقة بين عنقودين كثيفين، حيث لا يسكن شيء عاديّ لكنّها تقع في منتصف البيانات. ثمّ شغّل أربعة كواشف قياسية. والعمودان الأيمنان هما الاستدعاء داخل أعلى 60 نقطة من كلّ ترتيب، أي ضعف الشذوذ الثلاثين المزروع:

ماهالانوبيس يقع تحت الصدفة. ولا شيء معطوب: فالفجوة عند المتوسّط العامّ، فتكون لتلك النقاط العشرين أدنى المسافات في البيانات وتُرتَّب تحت البيانات العادية. والمنهج يرمّز تعريفاً - الشذوذ بعيد عن الوسط - تخالفه هذه البيانات.

وتحقّق غابة العزل 0.903 المحترمة ولا تبلغ شيئاً من الفجوة داخل تلك الستين الأولى، لأنّ نقطةً في منتصف مديي الإحداثيّين تحتاج من القطوع الموازية للمحاور ما يقارب ما تحتاجه نقطة عادية. يقارب لا يساوي: فكلّ نقطة من الفجوة لا تزال مرتَّبة فوق 73٪ من البيانات العادية على الأقلّ، أي الفجوة مقابل العاديّ بمساحة ROC تبلغ 0.855، ودفعها إلى أسفل الترتيب يهبط بالمجموع إلى 0.333. فالهامش رقيق، وهذا فشل آخر غير انعدامه.

المنهج المحلّي يهزمه الحشد

وُجد عامل الشذوذ المحلّي لهذه الحالة بعينها: يقارن كثافة نقطة بجيرانها، فتبرز النقطة في جيب متفرّق ولو كانت في المركز. وقد وجد 30٪. كبّر المجموعة وانظر لماذا:

هذا هو الإخفاء. فمقدّمة العامل المحلّي أنّ جيران النقطة عاديّون. ومتى جلس أربعون شاذّاً معاً صاروا هم جوار بعضهم، فتعلن المقارنة كثافة محلّية عادية تماماً.

وتتدهور مسافة الجيران البسيطة أيضاً، لكن أبطأ بكثير، لأنّ المسافة المطلقة لا تبالي بشذوذ الجيران. وهي الحالة النادرة التي يكون فيها المنهج الأبسط أمتن، وتستحقّ التذكّر حين يُقترَح كاشف متطوّر لمشكلة يأتي فيها الشذوذ دفعات. والاحتيال والأعطال وأخطاء المستشعرات تأتي كلّها دفعات.

الشكل أدناه تنفيذ مستقلّ لتلك البيانات بمولّد مستقلّ، ومع ذلك تقرأ مسافة ماهالانوبيس 0.336 مقابل 0.335 أعلاه: فالوقوع تحت الصدفة هنا خاصيةٌ في الهندسة لا في بذرة أحد. بدّل الكاشف لترى أي النقاط يُبلّغ عنها كلٌّ منها، ثم انقل الجسر من شاذّتين إلى أربعين. يهبط معامل الشذوذ المحلي من 0.999 إلى 0.62، بينما لا تنزل المسافة إلى الجار k إلا إلى 0.95: ذاك هو الحجب، مقيسًا لا موصوفًا.

العتبة تتحكّم في الاستدعاء؛ والتلوّث يتحكّم في الدقّة

سعّر الخطأين - لنقل 500 للفوات و20 للإنذار الكاذب - فتكفّ العتبة عن كونها مسألة ذوق:

وقاعدة الـ1٪ تقع هنا ضمن 11٪ من الأمثل، وذلك حظّ لا مبدأ: فهي تُطلِق أقلّ من نصف ما ينبغي، وعند نسبة كلفة أخرى ستكون خاطئة بوضوح.

ثمّ اترك تلك العتبة ودع العالم يتحرّك:

الاستدعاء يكاد لا يتحرّك؛ والدقّة تتأرجح بعامل ثلاثة. فالاستدعاء هو نسبة الشذوذ فوق القطع، فلا يتوقّف إلا على توزيع درجات الشذوذ، وهذا لم يتغيّر، بل تغيّر عدد السحوبات منه وحده. والتوزيع العاديّ لم يتغيّر هو أيضاً، وهو ما يُبقي الإنذارات الكاذبة عند نحو 2.3٪ من الأحداث العادية. فالدقّة إذن عدد متحرّك من الشذوذ الحقيقيّ مقسوماً على كومة شبه ثابتة من الإنذارات الكاذبة، وهذه النسبة هي المتأرجحة.

والفريق الموعود بأنّ «أكثر الإنذارات سيكون حقيقياً» سيرى الوعد مخلوفاً بشهر هادئ، دون أيّ تغيّر في النموذج ولا في خطّ البيانات ولا في العتبة.

يتيح لك الشكل أدناه أن تفعل ما يكتفي الجدول بوصفه: أن تثبّت العتبة وتحرّك العالم. اسحب مؤشّر التلوّث فلا تتغيّر قراءة الاستدعاء ولو نقطة واحدة، لأن الاستدعاء يُقرأ من توزيع درجات الشذوذ وحده وهذا لم يتزحزح. أما الدقّة فتتغيّر بمعامل ثلاثة عشر تقريباً على كامل مدى المؤشّر، من 10 إلى 200 حالة شاذّة لكل 10000. وجدول الطاقات تحته هو الكاشف نفسه معروضًا كما ينبغي أن يُعرض: إذا عُلم كم عنصرًا يمكن مراجعته في اليوم، فهذا ما يشتريه ذلك.

حدّد المشكلة قبل اختيار المنهج

ثلاثة أرقام تقرّر إن كان كاشف الشذوذ يساوي شيئاً، وكلّها معلوم قبل تدريب أيّ نموذج:

1. معدّل الأساس - يحدّد ما يمكن لكلّ مقياس أن يعنيه
2. طاقة الفحص - تثبّت k، وk يثبّت العتبة لا العكس
3. كلفة الفوات نسبةً إلى الإنذار الكاذب - تحوّل العتبة إلى حساب

اعرض الكاشف هكذا: «عند أربعين فحصاً في اليوم نمسك ربع الحوادث، وثلاثة من كلّ ثمانية ممّا نعرضه عليك ضجيج». لا «ROC 0.95».

وتحقّق من نوع الشذوذ الذي تحويه بياناتك فعلاً، فكلّ عائلة عمياء عن نوع تجده أخرى بسهولة. وتشغيل عائلتين بنقاط عمى مختلفة والنظر فيما تشير إليه واحدة فقط رخيصٌ، والاختلاف عادةً هو موضع الشذوذ المثير.