فهم الدقّة والاستدعاء
لمصفوفة الالتباس أربع خانات، وتختزلها الإصابة في عدد واحد بعدّ القطر. وحين يندر أحد الأصناف يهيمن على ذلك العدد السوالبُ الصحيحة، فيُحرز النموذج الذي لا يتنبّأ بالصنف النادر قطّ درجةً حسنة. أمّا الدقّة والاستدعاء فتقطعان المصفوفة على نحو آخر: الدقّة تقسم الموجبات الصحيحة على كلّ ما تُنبِّئ به موجبًا، والاستدعاء يقسمها على كلّ ما هو موجب فعلًا. ولا تستعمل أيٌّ منهما السوالب الصحيحة.
وتُخفقان في اتّجاهين مختلفين، ويستحقّ ذلك تسميتين منفصلتين. فالاستدعاء المنخفض يعني تفويت حالات حقيقيّة، وهو ما يهمّ في المسح والبحث وكشف الاحتيال. والدقّة المنخفضة تعني الصياح بالذئب، وهو ما يهمّ حين يكلّف كلّ إنذار انتباه إنسان. والنظام الذي يعاني الاثنين يُكتشف بسهولة؛ والذي يعاني واحدًا منهما يسهل أن يُظَنّ جيّدًا إن لم يُبلَّغ إلّا عن الآخر.
وليست أيٌّ منهما خاصّيّةً ثابتة لنموذج يُخرج درجة. فخفض العتبة يمسك موجبات حقيقيّة أكثر فيرفع الاستدعاء، ويُدخل إنذارات كاذبة أكثر فيخفض الدقّة. والمنحنى الذي يُرسَم مع تحرّك العتبة هو الوصف الأمين؛ وزوج أعداد واحد نقطةٌ عليه، اختيرت قصدًا أو تلقائيًّا.
ويلخّص مقياس F1 الزوج بوسط توافقيّ لا حسابيّ، فيأبى أن تُنقذه قيمة عالية واحدة: فدقّة قدرها 1 مع استدعاء قدره 0.02 وسطها الحسابيّ 0.51 وF1 لها 0.039. وحين تختلف كلفتا الخطأين اختلافًا حقيقيًّا، فترجيحهما صراحةً يقول أكثر ممّا يقوله أيّ تلخيص واحد.
كيفية الحساب
\text{precision} = \frac{TP}{TP + FP}, \qquad \text{recall} = \frac{TP}{TP + FN}, \qquad F_1 = \frac{2\,\text{precision}\cdot\text{recall}}{\text{precision} + \text{recall}}
حيث
- TP
- الموجبات الصحيحة: حالات حقيقيّة أُشير إليها إشارة صحيحة
- FP
- الموجبات الكاذبة: إنذارات كاذبة
- FN
- السوالب الكاذبة: حالات حقيقيّة فاتت
مثال على الدقّة والاستدعاء
امسح 20,000 شخص بحثًا عن حالة يحملها واحد من كلّ 200، فيكون 100 منهم موجبين حقًّا و19,900 غير موجبين. والكاشف الذي لا ينطلق قطّ يصيب 19,900 مرّة من 20,000: إصابة قدرها 0.995، واستدعاء قدره 0.
وخذ الآن كاشفًا حسّاسيّته تسعون في المئة ونوعيّته خمسة وتسعون في المئة. يجد 90 من المئة الحقيقيّة ويرفع 995 إنذارًا كاذبًا، فيكون الاستدعاء 0.9 والدقّة 90/1085 = 0.082949. فأحد عشر إنذارًا من كلّ اثني عشر كاذب، وتفوق الإنذارات الكاذبة الصادقةَ بنسبة 11.06 إلى واحد.
وإصابته 18,995/20,000 = 0.94975، وهي أدنى من إصابة الكاشف الذي لا ينطلق قطّ. فالإصابة تُفضّل النموذج عديم النفع؛ والدقّة والاستدعاء يقولان صراحةً ما يفعله كلٌّ منهما. ولهذا يُبلَّغ عن الزوج في الأصناف النادرة ولا يُبلَّغ عن الإصابة.
الأسئلة الشائعة
أيّهما يُحسَّن؟
الخطأ الأغلى، وهذا سؤال عن التطبيق لا عن البيانات. ففوات ورم والإشارة إلى مريض سليم ليسا متبادلين، ولا إحصاءةَ تلخيصٍ تعرف سعر الصرف.
لماذا تنهار الدقّة حين يندر الصنف؟
لأنّ الإنذارات الكاذبة تُسحب من بركة السوالب الكبيرة. فعند انتشار واحد من 200، حتّى معدّل موجبات كاذبة قدره خمسة في المئة يُنتج إنذارات تفوق الحالات الحقيقيّة عشر مرّات، أيًّا كانت الحسّاسيّة.
الخلاصة
الدقّة تسأل كم إنذارًا كان حقيقيًّا، والاستدعاء يسأل كم حالة حقيقيّة أُمسكت، ولا تعدّ أيٌّ منهما السوالب الصحيحة. وعلى صنف نادر، ذلك هو الفرق بين عددٍ يُجمّل نموذجًا عديم النفع وزوجٍ يصف ما يفعله حقًّا.