مقارنة المصنّفات، وما تخفيه الدقة

لمقارنة المصنّفات على بيانات واقعية خاصيةٌ محرجة: فأنت لا تعرف قط كم بقي من هامش. فطريقة تسجّل 12% خطأً قد تكون قريبة من المثلى وقد تكون تاركةً نصف الدقة المتاحة على الطاولة، ولا شيء في البيانات يقول أي الأمرين. ويشتغل هذا المقال على بيانات محاكاة بدلًا من ذلك، حيث يمكن حساب أفضل مصنّف ممكن حسابًا مضبوطًا - وهو ما يحوّل المقارنات الغائمة إلى قياسات.

أ. المصنّف الذي لا يُهزم

لو كنت تعرف ‎$P(Y = j \mid X = x)$‎ عند كل $x$، لكان أفضل ما تفعله إسنادُ كل نقطة إلى الصنف صاحب أكبرها. ذلك هو مصنّف بايز، وهو أمثل لسبب أقصر من أن يكون برهانًا: فعند كل $x$ يكون احتمال الخطأ ‎$1 - \max_j P(Y = j \mid X = x)$‎، ولا تصغّره أي قاعدة عند تلك النقطة. والأمثلية في كل موضع تعني الأمثلية وسطيًا.

وما يخلّفه،

$$1 - E\left[\max_j P(Y = j \mid X)\right],$$

هو معدل خطأ بايز - نظير الخطأ غير القابل للاختزال في التصنيف، وهو غير صفري لأن الأصناف تتداخل فعلًا.

صنفان غاوسيان على المستقيم، ‎$N(-1.25, 1)$‎ و‎$N(1.25, 1)$‎، متساويا الاحتمال. والكثافتان صورتان متناظرتان، فيكون الحدّ نقطةَ المنتصف ‎$x = 0$‎ ويكون معدل الخطأ ‎$\Phi(-1.25) = 0.105650$‎. ومكاملة المزيج على أربعة ملايين نقطة شبكية توافق ذلك إلى ست منازل عشرية.

ب. التوزيعات القبلية تحرّك الحدّ - إلى أي جهة؟

اجعل الصنف 1 أكثر شيوعًا، ‎$\pi_1 = 0.7$‎. يحلّ الحدّ المعادلة ‎$\pi_1 f_1(x) = \pi_2 f_2(x)$‎:

$$x = \frac{\sigma^2 \log(\pi_1/\pi_2) + (\mu_2^2 - \mu_1^2)/2}{\mu_2 - \mu_1} = +0.338919 .$$

فهو يتحرك نحو الصنف الأندر، موسّعًا منطقة الصنف الشائع. والعكس تخمين مغرٍ - أليس الصنف الوفير أحوج إلى حيّز أقل؟ - وهو خاطئ: فالنقطة القريبة من الصفر صارت أرجح أن تكون من الصنف 1 لأن هناك مزيدًا من الصنف 1 تأتي منه بالضبط.

ويكلّف تجاهل التوزيع القبلي ‎$0.012084$‎ عند 0.7 ويزيد الخطأ إلى أكثر من الضعف عند 0.9. ويستحق ذلك تحققًا عدديًا بدل الوثوق بالجبر: فقد تأكدت أمثلية الحدّ المشتقّ بمقارنته بشبكة من 240,001 عتبة، وهو بالضبط التحقق الذي يلتقط خطأ الإشارة - وقد التقطه، في المحاولة الأولى لهذا المقال.

ج. محاكاته بالعدّ

تفتقر البيانات الواقعية إلى ‎$P(Y \mid X)$‎. وتقدّرها طريقة أقرب k جار بأكثر الطرق مباشرةً - خذ نقاط التدريب الـ $k$ الأقرب واستعمل نسبها - ثم تطبّق قاعدة بايز على ذلك التقدير. ولا يُلاءَم شيء سلفًا؛ فمجموعة التدريب هي النموذج.

على مسألة ثنائية البعد خطأ بايز فيها ‎$0.092708$‎، مُلاءَمةً على 200 نقطة تدريب ومقيسةً على 20,000:

والطرفان هما الدرس. فعند ‎$k = 1$‎ يكون خطأ التدريب صفرًا تمامًا بينما خطأ الاختبار، ‎$0.138200$‎، أسوأ قيم الجدول عدا ‎$k = 199$‎ المنحلّة - وهو أوضح برهان متاح على أن خطأ التدريب لا يقدّر شيئًا. وعند ‎$k = 199$‎ من أصل 200 تصوّت العينة كلها تقريبًا في كل تنبؤ، فيكفّ المصنّف عن الاعتماد على $x$ أصلًا، ويكون خطؤه احتمال الصنف القبلي جوهريًا.

وبينهما شكل الـ U الذي يتنبأ به تفكيك التحيّز والتباين، بأفضل قيمة ‎$0.097150$‎ عند ‎$k = 15$‎ - في حدود نصف نقطة من الأرضية، من طريقة لم تفترض شيئًا عن صورة الحدّ.

د. نمذجة الأصناف لا الحدّ

الانحدار اللوجستي تمييزي: فهو يقصد ‎$P(Y \mid X)$‎ مباشرةً. أما التحليل التمييزي فتوليدي - إذ ينمذج ‎$P(X \mid Y = k)$‎ غاوسيًا لكل صنف، مع التوزيعات القبلية، ويقلب بمبرهنة بايز.

افترض أن كل صنف يشترك في تغاير واحد ‎$\Sigma$‎. وبأخذ اللوغاريتم وحذف ما لا يتوقف على $k$ يبقى ‎$\log \pi_k - \frac{1}{2}(x - \mu_k)^\top \Sigma^{-1}(x - \mu_k)$‎. انشره: فالحدّ ‎$x^\top \Sigma^{-1} x$‎ لا يذكر $k$ قط، فيتلاشى عند مقارنة الأصناف، والباقي،

$$\delta_k(x) = x^\top \Sigma^{-1} \mu_k - \tfrac{1}{2}\mu_k^\top \Sigma^{-1}\mu_k + \log \pi_k ,$$

خطي في $x$. فالخطية نتيجةٌ للتغاير المشترك، لا خيار نمذجة مستقل. وأعطِ كل صنف ‎$\Sigma_k$‎ خاصًا فيبقى الحدّ التربيعي: فينحني الحدّ الفاصل. وذلك هو التحليل التربيعي، بكلفة معالم تغاير أكبر $K$ مرة.

هـ. حين يخفق الافتراض المشترك، وحين ينقذك

الصنف A في نقطة الأصل بارتباط ‎$+0.75$‎؛ والصنف B في ‎$(1.5, 1.5)$‎ بارتباط ‎$-0.75$‎. ولا يصف أي تغاير واحد كليهما، فينحني الحدّ الأمثل انحناءً حقيقيًا، ومكاملة المزيج تعطي أرضية ‎$0.092708$‎. وعلى 200 نقطة تدريب و200,000 نقطة اختبار:

ويفسّره التغاير المجمَّع: فحساب متوسط ‎$+0.75$‎ مقابل ‎$-0.75$‎ يعطي حدًّا خارج القطر قدره ‎$-0.046809$‎، قريبًا من الصفر، لا يصف أيًا من الصنفين. أما التربيعي فيقدّر ‎$+0.685607$‎ و‎$-0.722339$‎ منفصلين ويحطّ ‎$0.0008$‎ فوق الأرضية.

ولاحظ التشخيص. فما يحدّد مشكلة التحليل الخطي بأنها تحيّز هو الفجوة إلى الأرضية، لا الفجوة إلى التربيعي - فبغير المرجع لن تعرف إلا أن طريقةً تفوقت على أخرى، وذلك متسق مع رداءتهما معًا.

والآن اعكس. مسألة ثانية حدّها الحقيقي خطي فعلًا، وأرضيتها ‎$0.244211$‎، بالمتوسط على 400 تشغيلة:

والتربيعي ليس خاطئًا هنا - فالنموذج التربيعي يحتوي الخطي، فتحيّزه معدوم ويتقارب كلاهما إلى الأرضية. لكنه لا يستطيع تحمّل معالمه عند ‎$n = 20$‎ ببساطة. وتنغلق الفجوة انغلاقًا رتيبًا، وهي مقايضة التحيّز والتباين ظاهرةً قاعدةً لانتقاء النماذج لا رسمًا بيانيًا.

اثنان من تلك الأرقام الثلاثة خاصّيتان في المجتمع لا في ملاءمة، والشكل أدناه يحسبهما: أرضية بايز عند 0.092708، وخطأ الخطّ الذي يؤول إليه LDA مع بيانات غير محدودة عند 0.114143. والفرق بينهما هو تحيّز LDA، ولا تمحوه أي كمية من البيانات: فالقيمة 0.118955 المقيسة أعلاه هي ذلك التحيّز مضافًا إليه خطأ التقدير في ملاءمة على 200 نقطة. وليس ذلك الخطّ أفضلَ خطّ مستقيم أصلًا: فالخطّ الذي يُصغّر الخطأ، موازيًا لخطّ LDA ومُزاحًا نحو الصنف B، يبلغ 0.106416، لأن LDA يفترض تغايرًا لا يتشاركه الصنفان. أنزل الارتباط إلى الصفر وانظر المنحنى يستقرّ على الخطّ ويزول التحيّز: تلك مقدّمة الانقلاب التالي.

و. ما يخفيه معدل خطأ واحد

كل رقم أعلاه عدد واحد، والأعداد المفردة تخفي صورة الأخطاء. فـ ‎$0.093480$‎ للمصنّف التربيعي تتفكك هكذا:

حساسية ‎$0.961083$‎، ونوعية ‎$0.851753$‎. فهو أفضل بوضوح في إحدى المهمتين منه في الأخرى.

وقبل إلقاء اللوم على الملاءمة، احسب ما تفعله قاعدة بايز صنفًا صنفًا: حساسية ‎$0.952845$‎، ونوعية ‎$0.861738$‎. فالمصنّف الأمثل غير متناظر هو أيضًا، بالقدر نفسه تقريبًا. فالصنفان متساويان في الانتشار، لكن المحور الطويل لـA يتّجه نحو B (تباينه 1.75 على الخطّ الواصل بين المركزين) بينما B ضيّق في ذلك الاتجاه (0.25)، فيمتدّ ذيل A إلى منطقة B، وتتنازل القاعدة المثلى عن قدر أكبر من A في المقابل. فالاختلال يخصّ المسألة لا النموذج، وسبيل معرفة ذلك حسابُ المرجع لا الاستدلال عليه.

ز. العتبة قرار لا إعداد افتراضي

ليست العتبة جزءًا من النموذج. وتحريكها يغيّر قاعدة القرار بينما تبقى كل معلمة مُلاءَمة في مكانها:

يقول معدل الخطأ إن 0.5 هي الأفضل، لكنه يزن الإيجابي الكاذب والسلبي الكاذب سواءً، وذلك الوزن افتراض. وحيث يكلّف الإيجابي الفائت عشرة أضعاف الإنذار الكاذب، يكون تصغير معدل الخطأ تصغيرًا للمقدار الخطأ.

واكتساح العتبة وتسجيل كل زوج (معدل الإيجابيات الكاذبة، معدل الإيجابيات الصحيحة) يرسم منحنى ROC، ولمساحته قراءة مضبوطة: احتمال أن ينال إيجابيٌّ عشوائي درجةً أعلى من سلبيٍّ عشوائي. وحساب تلك المساحة بقاعدة شبه المنحرف وحساب إحصاءة مان–ويتني $U$ على الدرجات الخام يتوافقان هنا في حدود دقّة الفاصلة العائمة - فالتكافؤ هوية لا تقريب. وعلى كل العتبات يسجّل التربيعي ‎$0.965269$‎ مقابل ‎$0.933488$‎ للخطي.

ولأن الترتيب وحده هو المهمّ، فإن AUC عمياء عن المعايرة: فنموذج يرتّب ترتيبًا تامًا بينما يعلن كل احتمال بين ‎$0.98$‎ و‎$0.99$‎ له AUC تساوي 1.

الشكل أدناه هو القاعدة المثلى لهذه المسألة، محسوبةً بالتكامل لا بالملاءمة، ولذا فسطرها الافتراضي هو المرجع المذكور أعلاه: خطأ 9.27%، وحساسية 0.953، ونوعية 0.862. حرّك العتبة ولن يُعاد تقدير شيء؛ كل ما يتحرّك هو الخط بين نعم ولا، فتتوازن الخانات الأربع من جديد. ثم اجعل الفئة B نادرة، حالةً من مئة: لن تتزحزح الحساسية ولا النوعية، إذ لا ترى أيٌّ منهما ندرة الفئة، بينما تصعد الدقّة الإجمالية نحو النوعية وتنهار دقّة التنبؤ.

أهم النقاط

• مصنّف بايز أمثل ويحتاج الجواب ليُحسَب، مما يجعل بيانات المحاكاة الموضع الوحيد الذي يظهر فيه ما بقي لطريقةٍ من هامش.
• تحرّك التوزيعات القبلية الحدَّ نحو الصنف الأندر؛ وتجاهلها كلّف ‎$0.012084$‎ عند قسمة ‎0.7/0.3‎ وضاعف الخطأ عند ‎0.9/0.1‎.
• في أقرب k جار يكون $k$ مفتاح المرونة: خطأ تدريب صفري عند ‎$k = 1$‎، واحتمال الصنف القبلي عند ‎$k \approx n$‎، وأفضل قيمة بينهما.
• التغاير المشترك هو ما يجعل الحدّ التمييزي خطيًا. وقرار المشاركة يحسمه حجم العينة بقدر ما تحسمه الحقيقة.
• شخّص التحيّز في مقابل أرضية بايز، لا في مقابل طريقة منافسة.
• أورد مصفوفة الالتباس قبل الدقة، واختر العتبة من الكلف، واقرأ AUC ترتيبًا لا معايرة.

ما التالي

رسمت كل طريقة هنا حدًّا واحدًا من نموذج واحد مُلاءَم. أما التجميعات فتسلك سبيلًا آخر - ملاءمة نماذج ضعيفة كثيرة ثم دمجها - وسبب نجاح ذلك حجةُ تباين لا حجة تحيّز.