المستويات الفائقة الفاصلة والهامش

يلائم الانحدار اللوجستي حدًّا بجعل التسميات المرصودة مرجَّحة. ويبدأ هذا الدرس من منطلق آخر: من بين كل الحدود التي تفصل بين الفئتين، فضّل الحدّ الأبعد عن كل مشاهدة. وتنتج تلك الفكرة وحدها مصنّفًا ذا خاصيّة غير مألوفة، وهي أن جلّ البيانات يتبيّن أنه لا صلة له به.

المستوي الفائق قاعدةُ قرار

في $p$ بُعدًا، المستوي الفائق هو المجموعة المسطّحة ذات البُعد $(p-1)$

$$\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p = 0 .$$

وهو في بُعدين مستقيم، وفي ثلاثة أبعاد مستوٍ. والنقطة الواقعة خارجه تجعل الطرف الأيسر إما موجبًا وإما سالبًا، فالمستوي الفائق يقسم الفضاء قسمين ويعطي مصنّفًا مجّانًا: اكتب

$$f(x) = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p$$

وتنبّأ بالفئة $+1$ حين $f(x) > 0$ وبالفئة $-1$ حين $f(x) < 0$. وترميز التسميات بـ$\pm 1$ يجعل «مصنَّف تصنيفًا صحيحًا» مقتضبًا: فالتنبّؤ صائب بالضبط حين

$$y_i f(x_i) > 0 .$$

ومقدار $f(x)$ مفيد هو أيضًا. فالنقطة البعيدة عن الحدّ يكون $f(x)$ عندها بعيدًا عن الصفر، ويمكننا أن نثق بها؛ أما النقطة القريبة من الحدّ فأقرب إلى رمي قطعة نقد.

أيّ مستوٍ فائق فاصل؟

إن أمكن فصل الفئتين أصلًا، أمكن فصلهما عادةً بطرق لا نهائية العدد: أزِح مستقيمًا فاصلًا قليلًا أو أمِله، فيظلّ فاصلًا. فقولنا «جدْ مستويًا فائقًا فاصلًا» ليس بعدُ مسألة موضوعة وضعًا سليمًا.

ومصنّف الهامش الأقصى يحلّ ذلك. احسب المسافة من كل مشاهدة تدريب إلى مستوٍ فائق مرشَّح؛ فأصغر تلك المسافات هو الهامش. ثم اختر المستوي الفائق الذي هامشه أكبر. وبعبارة أخرى، هو الخطّ الأوسط لأعرض شريحة يمكنك دفعها بين الفئتين.

مثال محلول

خذ ستّ مشاهدات في المستوي:

$$\begin{array}{ll} \text{class } +1: & (3,3),\ (4,4),\ (3,5) \\ \text{class } -1: & (1,1),\ (0,2),\ (2,0) \end{array}$$

المستوي الفائق ذو الهامش الأقصى هو

$$x_1 + x_2 - 4 = 0 ,$$

والمسافة العمودية من نقطة إليه هي $|x_1 + x_2 - 4| / \sqrt{2}$. وبتقييمها عند كل مشاهدة:

$$\begin{array}{lll} (3,3) & +1 & \sqrt{2} \approx 1.4142 \\ (4,4) & +1 & 2\sqrt{2} \approx 2.8284 \\ (3,5) & +1 & 2\sqrt{2} \approx 2.8284 \\ (1,1) & -1 & \sqrt{2} \approx 1.4142 \\ (0,2) & -1 & \sqrt{2} \approx 1.4142 \\ (2,0) & -1 & \sqrt{2} \approx 1.4142 \end{array}$$

فالهامش هو $\sqrt{2}$، وتبلغه أربع مشاهدات: $(3,3)$ و$(1,1)$ و$(0,2)$ و$(2,0)$. وهذه هي متّجهات الدعم. تقع على حافّتَي الشريحة وتمسكها في مكانها - حرّك واحدة منها فيتحرّك المستوي الفائق.

أما الأخريان، $(4,4)$ و$(3,5)$، فتجلسان عند $2\sqrt{2}$ ولا صلة لهما بالحلّ. ولك أن تحرّكهما إلى أي موضع في جانبهما من الشريحة فلا يتغيّر المصنّف المُلاءم البتّة. ولاحظ أيضًا أن متّجهات الدعم ليست موزّعة بالتساوي بين الفئتين: واحد موجب وثلاثة سالبة.

صوغها مسألةَ تحسين

تُكتب المسألة

$$\max_{\beta_0,\dots,\beta_p,\,M} M \quad\text{subject to}\quad \sum_{j=1}^{p}\beta_j^2 = 1, \qquad y_i\big(\beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip}\big) \ge M \ \ \forall i .$$

ويقول القيد الثاني إن كل مشاهدة في جانبها الصحيح وعلى بُعد $M$ على الأقلّ. أما الأول فيبدو تفصيلًا تقنيًا وليس كذلك. فضرب كل معامل في أي $k \neq 0$ يصف المستوي الفائق نفسه، فمن غير اصطلاح على المقياس لا تتحدّد المعالم. وتثبيت متّجه المعاملات على طول واحدي يعيّنها، ويجعل $y_i(\beta_0 + \beta \cdot x_i)$ مساويًا للمسافة العمودية الفعلية - وهو ما يجعل «عظّم $M$» تعني «عظّم الهامش».

الصورة القياسية. ثمّة اصطلاح مكافئ يعيّر بحيث تحقّق أقرب النقاط $y_i f(x_i) = 1$. فيصير مستوينا الفائق $\beta = (0.5, 0.5)$ مع $\beta_0 = -2$، فيكون $\lVert\beta\rVert = 0.7071$ وهامشه $1/\lVert\beta\rVert = 1.4142$، أي $\sqrt{2}$ نفسه. وتعظيم الهامش يصير عندئذ تصغير $\lVert\beta\rVert$، وهي الصورة التي تحلّها أكثر البرمجيات.

طريقتان يخفق بهما

قد لا تكون الفئتان قابلتين للفصل. فلا يحقّق عندئذ أي مستوٍ فائق القيود مع $M > 0$، وببساطة لا حلّ للمسألة. والبيانات الواقعية كثيرًا ما تكون كذلك، وطريقة لا تُرجع شيئًا البتّة ليست ذات نفع كبير.

وهو هشّ حتى حين ينجح. فالحلّ تعيّنه كلّيًا النقاط القليلة الأقرب إلى الحدّ، فيرث عدم استقرارها. أضِف مشاهدة $+1$ واحدة عند $(1.6, 1.6)$، مدسوسة قرب السحابة السالبة، فيهبط أفضل هامش ممكن من $1.4142$ إلى $0.4243$ - بعامل يفوق الثلاثة، بسبب نقطة واحدة. ولمّا كان الهامش الضيّق هو بالضبط ما يعمّم تعميمًا رديئًا، كان طلب الفصل التامّ مهزومًا بذاته.

ويشير الإخفاقان كلاهما إلى الوجهة نفسها: ينبغي أن يُسمح للمصنّف بأن يخطئ في بضع مشاهدات. وذلك هو الدرس التالي.

قبل الاختبار

كن قادرًا على التصنيف بإشارة $f(x)$، وتعريف الهامش، وانتقاء متّجهات الدعم وبيان لماذا لا تهمّ الأخريات، وشرح الغرض من قيد التعيير، وتسمية نمطَي الإخفاق.