آلات متّجهات الدعم: الهوامش والنوى

تُلاءَم أكثر المصنّفات بكتابة خسارة وتصغيرها. أما آلات متّجهات الدعم فتبدأ من موضع أكثر هندسيةً: من بين كل الحدود التي تفصل بين فئتين، فضّل الحدّ الأبعد عن كل مشاهدة. واتّباع تلك الفكرة اتّباعًا أمينًا يقود إلى مصنّف يتجاهل جلّ بيانات تدريبه، ثم إلى تقنية لثني الحدّ من غير دفع ثمن الفضاء الذي ينثني فيه.

أ. أوسع شريحة

في $p$ بُعدًا، المستوي الفائق هو المجموعة التي عندها $\beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p = 0$. وهو يقسم الفضاء قسمين، فكتابة $f(x)$ لذلك الطرف الأيسر تعطي مصنّفًا: تنبّأ بـ$+1$ حين $f(x) > 0$ وبـ$-1$ فيما عدا ذلك. ومع ترميز التسميات بـ$\pm 1$، تكون المشاهدة مصنَّفة تصنيفًا صحيحًا بالضبط حين $y_i f(x_i) > 0$.

وإن أمكن فصل الفئتين أصلًا فهما تنفصلان عادةً بطرق لا نهائية العدد، فالسؤال أيّ مستوٍ فائق نأخذ. ومصنّف الهامش الأقصى يحسب المسافة من كل مشاهدة إلى مستوٍ فائق مرشَّح، ويسمّي أصغرها الهامش، وينتقي المستوي الفائق ذا الهامش الأكبر. وهو الخطّ الأوسط لأعرض شريحة تتّسع بين الفئتين.

وستّ نقاط تجعل الأمر ملموسًا. الفئة $+1$ عند $(3,3)$ و$(4,4)$ و$(3,5)$، والفئة $-1$ عند $(1,1)$ و$(0,2)$ و$(2,0)$. والجواب هو $x_1 + x_2 - 4 = 0$، بمسافات $|x_1 + x_2 - 4|/\sqrt{2}$:

$$\begin{array}{lll} (3,3),\ (1,1),\ (0,2),\ (2,0) & \sqrt{2} \approx 1.414 & \text{support vectors} \\ (4,4),\ (3,5) & 2\sqrt{2} \approx 2.828 & \text{irrelevant} \end{array}$$

أربع مشاهدات تلامس حافّة الشريحة وتمسكها في مكانها؛ وهذه هي متّجهات الدعم. أما الأخريان فيمكن تحريكهما إلى أي موضع في جانبهما من الشريحة، ما دامتا خارجها ($x_1 + x_2 \ge 6$)، من غير أن يتغيّر المصنّف المُلاءم البتّة. أمّا إن أُدخلت إحداهما في الشريحة فإنها تضيق. ولاحظ أن متّجهات الدعم ليست موزّعة بالتساوي بين الفئتين.

ويُصاغ التحسين تعظيمًا لـ$M$ بشرط $\sum_j \beta_j^2 = 1$ و $y_i(\beta_0 + \beta\cdot x_i) \ge M$ من أجل كل $i$. ويبدو ذلك التعيير مسك دفاتر لكنه جوهري: فقياس كل المعاملات بأي $k \neq 0$ يصف المستوي الفائق نفسه، فمن غير اصطلاح على المقياس تبقى المعالم غير محدّدة. وتثبيت الطول عند واحد يجعل المقدار المقيَّد أيضًا المسافةَ العمودية الحقيقية.

ب. لماذا يكون الكمال هدفًا خاطئًا

يخفق مصنّف الهامش الأقصى بطريقتين. فلا حلّ له البتّة حين لا تكون الفئتان قابلتين للفصل، وذلك شائع. وحين ينجح، تعيّنه كلّيًا النقاط الأقرب إلى الحدّ، فيرث عدم استقرارها: أضِف مشاهدة $+1$ واحدة عند $(1.6, 1.6)$ إلى النقاط الستّ أعلاه فيهبط أفضل هامش ممكن من $1.414$ إلى $0.424$. نقطة واحدة، بعامل يفوق الثلاثة. ولمّا كان الهامش الضيّق هو بالضبط ما يخفق في التعميم، كان طلب الفصل التامّ مهزومًا بذاته.

ومصنّف متّجهات الدعم يسمح بالانتهاكات ويحاسب عليها. فتنال كل مشاهدة متغيّر فسحة $\varepsilon_i \ge 0$، ويصير القيد $y_i(\beta_0 + \beta \cdot x_i) \ge M(1 - \varepsilon_i)$، ويُحدّ المجموع بـ$\sum_i \varepsilon_i \le C$. وتقول الفسحة كم تسيء النقطة السلوك: فالصفر يعني الجانب الصحيح من الهامش، وما دون الواحد يعني داخل الهامش لكن مع تصنيف صحيح، وما فوق الواحد يعني الجانب الخاطئ من المستوي الفائق نفسه.

و$C$ هو ميزانية للانتهاك. فعند $C = 0$ لا شيء يمكن تحمّل ثمنه وترتدّ المسألة إلى مصنّف الهامش الأقصى. وكلّما كبر $C$ اتّسع الهامش وجلست نقاط أكثر داخله. ولمّا كان كل تصنيف خاطئ يكلّف أكثر من وحدة واحدة، فإن $C$ يحدّ أيضًا عدد أخطاء التدريب. وهو لا يُقدَّر بالمُحسِّن؛ بل يُضبط بالتحقّق المتقاطع.

ولمسألة الهامش المرن خاصيّة تستحقّ الإفراد: المشاهدة الواقعة في الجانب الصحيح من الهامش وقوعًا تامًّا لا أثر لها في المصنّف. حرّكها فلا يتغيّر شيء. ولا يدخل الحلَّ بمعاملات غير معدومة إلا النقاط الواقعة على الهامش أو المنتهكة له - أي متّجهات الدعم. وذلك هو المعنى الدقيق لمتانة الطريقة تجاه النقاط البعيدة، وموضع افتراقها عن تحليل التمييز الخطّي الذي يستعمل كل مشاهدة عبر متوسّطات الفئات والتغاير.

فـ$C$ إذن هو قرص التحيّز والتباين في ثوب آخر. فقيمة $C$ صغيرة تعطي هامشًا ضيّقًا تسنده نقاط قليلة: تحيّز منخفض وتباين مرتفع. وقيمة $C$ كبيرة تعطي هامشًا واسعًا يستند إلى كثير منها: تحيّز أكبر وتباين أقلّ.

ج. ثني الحدّ مجّانًا

بعض البيانات لا يفصلها شيء مسطّح - فئة في حلقة حول أخرى مثلًا. والعلاج المعياري توسيع فضاء السمات: لائم حدًّا خطّيًا في $x_1, x_2, x_1^2, x_2^2, x_1x_2$ فيعود إلى المستوي مقطعًا مخروطيًا. والعقبة هي الكلفة. فعدد الحدود الأحادية من الدرجة 2 على الأكثر في $p$ متنبّئًا، مع عدّ الثابت، هو $(p+1)(p+2)/2$:

$$\begin{array}{ll} p = 2 & 6 \\ p = 10 & 66 \\ p = 100 & 5{,}151 \\ p = 1{,}000 & 501{,}501 \end{array}$$

والذي ينقذ الموقف أن الحلّ يمكن كتابته $f(x) = \beta_0 + \sum_i \alpha_i \langle x, x_i\rangle$، وأن ملاءمة الـ$\alpha_i$ لا تحتاج إلا إلى الجداءات السلمية بين أزواج مشاهدات التدريب. ولا تمسّ أيّ من الخطوتين الإحداثيات. فاستبدل بكل جداء سلمي نواةً $K(x_i, x_{i'})$، أي دالّة تشابه، وتبقى الخوارزمية عاملة - عاملةً الآن ضمنًا في الفضاء الذي تقابله تلك النواة. ولمّا كان $\alpha_i$ ينعدم خارج متّجهات الدعم، كان المجموع قصيرًا هو أيضًا.

ونواة كثيرة الحدود $K(x_i,x_{i'}) = (1 + \sum_j x_{ij}x_{i'j})^d$ تحوّل مصنّف متّجهات الدعم إلى آلة متّجهات الدعم. وليست خفّة يد، ويستحقّ الأمر تحقّقًا واحدًا. من أجل $p = 2$ و$d = 2$:

$$(1 + x_1z_1 + x_2z_2)^2 = \langle \varphi(x), \varphi(z)\rangle, \qquad \varphi(x) = \big(1, \sqrt{2}x_1, \sqrt{2}x_2, x_1^2, x_2^2, \sqrt{2}x_1x_2\big) .$$

تُرجع النواة جداءً سلميًا سداسي الأبعاد من بُعدين اثنين من الدخل. وعند $p = 1{,}000$ يحتاج التطبيق الصريح إلى نصف مليون إحداثية بينما لا تزال كلفة النواة ألف عملية ضرب.

والخيار الشائع الآخر هو النواة القطرية $\exp(-\gamma \sum_j (x_{ij} - x_{i'j})^2)$، وهي لا تتوقّف إلا على المسافة وتضمحلّ أُسّيًا في مربّعها. ومع $\gamma = 1$، تعطي مسافة مربّعة قدرها $2$ القيمة $0.135$، وتعطي مسافة مربّعة قدرها $8$ القيمة $0.000335$. فهي موضعية: يحكم التنبّؤَ ما قرب منه من نقاط التدريب، وتدخل البعيدة بأوزان لا تُميَّز عن الصفر. وتلك الموضعية هي مصدر مرونتها، وهي تقابل فضاء سمات لانهائي الأبعاد لا يمكنك كتابته بأي ثمن - وهذه أقوى حجّة للعمل عبر النوى بدل الإحداثيات.

تحقّق منها بنفسك أدناه بدل الاكتفاء بثلاثة أزواج ثابتة. حرّك النقطة الثانية حيث شئت: تبقى النواةُ المحسوبة من إحداثيين، والجداءُ القياسي للصورتين السداسيّتَي الأبعاد، العددَ نفسه، والإحداثيات الستة التي اضطر الطرف الأيمن إلى بنائها مطبوعة تحتها. ثم انتقل إلى النواة الشعاعية وباعِد بين النقطتين: وحدتان تكفيان ليصبح إسهام مشاهدة تدريبية بلا أثر يُذكر.

أين يضعك هذا

الهامش سبب وجيه لتفضيل حدّ على آخر، ومتّجهات الدعم هي البيانات الوحيدة التي تهمّه. والإصرار على الفصل التامّ هشّ، فميزانية للانتهاكات تشتري الثبات، وتلك الميزانية هي قرص التحيّز والتباين المألوف. ثم تثني النوى الحدَّ بتغيير معنى «التشابه» بدل بناء فضاء أكبر. ومسار التدريب آلات متّجهات الدعم يعالج كلًّا من هذه يدويًا وبالبرمجة.