فهم منحنى ROC
لا يصير المصنّف الذي يخرج درجةً قاعدةَ قرار إلا بعد تثبيت عتبة. والقيمة الافتراضية عند النصف عرفٌ لا نتيجة، وهي تُضمِر افتراض أن الإيجابي الكاذب والسلبي الكاذب متساويا الكلفة. وحيثما بطل ذلك - وهو يبطل عادةً - كانت العتبة معلمةً للمسألة لا للنموذج، وكان ينبغي اختيارها اختيارًا مقصودًا.
ومصفوفة الالتباس هي الخطوة الأولى خارج الرقم الواحد: فهي تفصل الأخطاء إلى إيجابيات كاذبة وسلبيات كاذبة، ومنهما تتبع الحساسية (نسبة الإيجابيات الحقيقية المتعرَّف عليها) والنوعية (المثل للسلبيات الحقيقية). وتحريك العتبة يحرّك الاثنتين في اتجاهين متعاكسين، ومنحنى ROC ليس إلا سجلّ كل زوج منهما بينما تكتسح العتبة من طرف إلى طرف.
والمصنّف التام يبلغ الركن الأعلى الأيسر، حيث يُلتقَط كل إيجابي ولا يُرفَع أي سلبي؛ أما المصنّف عديم المعلومات فيتتبّع القطر. وتكثّف المساحة تحت المنحنى الصورة كلها في رقم واحد له قراءة احتمالية مضبوطة: إنها احتمال أن ينال إيجابيٌّ مختار عشوائيًا درجةً أعلى من سلبيٍّ مختار عشوائيًا. والتكافؤ مع إحصاءة U لمان–ويتني هوية لا تقريب.
ويستحق ما تتجاهله هذه المقياس عمدًا أن يُصرَّح به. فلأن ترتيب الدرجات وحده هو المهمّ، لا تتغير AUC بأي تحويل رتيب لها، مما يجعلها نافعة لمقارنة النماذج قبل اختيار عتبة، وعديمة النفع للتحقق من أن الاحتمالات المتنبَّأ بها جديرة بالتصديق. وعلى المسائل الشديدة الاختلال، كثيرًا ما يُظهر منحنى الدقة–الاستدعاء فروقًا يبسطها منحنى ROC.
كيفية الحساب
AUC = P(score(X⁺) > score(X⁻)), sensitivity = TP/(TP+FN), specificity = TN/(TN+FP)
حيث
- X⁺, X⁻
- مشاهدة إيجابية ومشاهدة سلبية مختارتان عشوائيًا
- TP, FN
- الإيجابيات الصحيحة والسلبيات الكاذبة - إيجابيات التُقطت وإيجابيات فاتت
- TN, FP
- السلبيات الصحيحة والإيجابيات الكاذبة - سلبيات استُبعدت وإنذارات كاذبة
- threshold
- الدرجة التي يُعدّ التنبؤ فوقها إيجابيًا؛ واكتساحها يرسم المنحنى
مثال على منحنى ROC
مصنّف تمييزي تربيعي على 200,000 نقطة اختبار معدل خطئه الكلي 0.093480 عند العتبة الافتراضية، وهو ما يخفي عدم تناظر حقيقي: حساسية 0.961083 مقابل نوعية 0.851753. والتحقق من القاعدة المثلى للمسألة نفسها يعطي 0.952845 و0.861738، فيكون الاختلال خاصيةً للمسألة لا عيبًا في الملاءمة.
وخفض العتبة من 0.5 إلى 0.1 يرفع الحساسية إلى 0.995928 ويُنزل النوعية إلى 0.750784، بينما يرتفع معدل الخطأ الكلي من 0.093480 إلى 0.126415. والنموذج واحد طوال ذلك - فالعتبة وحدها هي التي تحركت - وجدوى المقايضة تتوقف كليًا على الكلفة النسبية لإيجابي فائت وإنذار كاذب.
وبالتلخيص على كل العتبات، تبلغ AUC هذا المصنّف 0.965269 مقابل 0.933488 لمصنّف تمييزي خطي على البيانات نفسها. وحساب تلك المساحة بقاعدة شبه المنحرف على منحنى ROC وحساب إحصاءة مان–ويتني على الدرجات الخام يتوافقان تمامًا.
الأسئلة الشائعة
متى تكون الدقة الملخّص الخاطئ؟
كلما اختلفت كلفتا نوعَي الخطأ، وكلما كانت الأصناف شديدة الاختلال - إذ يمكن لمصنّف يتنبأ دائمًا بالصنف الأكثر شيوعًا أن يبلغ دقة عالية وهو عديم النفع. وينبغي أن تكون مصفوفة الالتباس هي التقرير الافتراضي، وأن تُشتقّ الدقة منها لا أن تُذكر وحدها.
كيف ينبغي اختيار العتبة؟
من الكلف لا من البيانات. فإن كان الإيجابي الفائت يكلّف عشرة أضعاف الإنذار الكاذب، كانت العتبة التي تصغّر الكلفة المتوقّعة بعيدةً عن النصف. وحيث تتعذّر كمّية الكلف، يكون هدف صريح للحساسية أو النوعية قيدًا أصدق عادةً من تصغير معدل الخطأ.
هل AUC الأعلى نموذج أفضل دائمًا؟
ليس بالضرورة. فـ AUC تحسب متوسطًا على عتبات قد تكون كلها بلا صلة بالاستعمال المقصود، فقد يكون نموذج أدنى AUC مفضَّلًا إن كان أداؤه أفضل في منطقة المنحنى التي سيُشتغَل فيها فعلًا. كما أن AUC لا تقول شيئًا عن جدارة الاحتمالات المتنبَّأ بها نفسها بالثقة.
الخلاصة
أورد مصفوفة الالتباس قبل الدقة، وعامل العتبة قرارًا في الكلف لا إعدادًا افتراضيًا، واقرأ منحنى ROC قائمةَ المقايضات التي يتيحها نموذج واحد ثابت. فـ AUC ترتّب ولا تعاير.