التنظيم: ريدج ولاسو

للمربّعات الصغرى هدف واحد: تصغير RSS قدر الإمكان على بيانات التدريب. وقد أظهرت مقايضة التحيّز والتباين لماذا لا يعني ذلك أن تكون مصيباً، وأظهر الانحدار اللوجستي معاملات تنطلق إلى $\pm\infty$ حين لا يكبحها شيء.

يضيف التنظيم حدّاً ثانياً إلى دالة الهدف يجعل المعاملات الكبيرة مكلفة. والنتيجة أسوأ عمداً على بيانات التدريب، وأفضل كثيراً في الغالب على بيانات جديدة.

أ. انحدار ريدج

يصغّر ريدج RSS مضافاً إليها عقوبة تتناسب مع مجموع مربّعات المعاملات:

$$\sum_{i=1}^{n}\Big(y_i - \beta_0 - \sum_{j=1}^{p}\beta_j x_{ij}\Big)^2 + \lambda\sum_{j=1}^{p}\beta_j^2 \;=\; \mathrm{RSS} + \lambda\sum_{j=1}^{p}\beta_j^2 .$$

ويتحكّم بارامتر الضبط $\lambda \ge 0$ في المبادلة. فعند $\lambda = 0$ تختفي العقوبة ونستعيد المربّعات الصغرى. وحين $\lambda \to \infty$ تهيمن العقوبة وتُدفَع كل المعاملات نحو الصفر.

وثمّة تفصيلان مهمّان. المقطع $\beta_0$ لا يُعاقَب - فهو يحدّد المستوى العام فحسب، وتقليصه بلا معنى. ولأن العقوبة تعمل على مقادير المعاملات، يجب توحيد مقاييس المتنبّئات أولاً: وإلا لغيّر قياس متغيّر بالغرامات بدل الكيلوغرامات مقدارَ معاقبته، وهو خطأ بيّن.

ب. لاسو

يستبدل لاسو بالعقوبة التربيعية عقوبةً بالقيمة المطلقة:

$$\mathrm{RSS} + \lambda\sum_{j=1}^{p}\big|\beta_j\big| .$$

يستخدم ريدج عقوبة $\ell_2$، ويستخدم لاسو عقوبة $\ell_1$. ولهذا التغيير المفرد نتيجة لا تتناسب مع حجمه: فعقوبة $\ell_1$ تُجبر بعض المعاملات على أن تساوي الصفر تماماً متى صار $\lambda$ كبيراً بما يكفي. أما ريدج فيقلّص المعاملات نحو الصفر لكنه، إلا في النهاية الحدّية، لا يبلغه أبداً.

والنموذج الذي يحوي أصفاراً تامّة يتجاهل تلك المتنبّئات كلياً، ومن ثم يؤدي لاسو اختيار المتغيّرات وينتج نماذج متناثرة - وهي عادةً أسهل تفسيراً بكثير من ملاءمة ريدج التي تُبقي المتنبّئات الـ$p$ جميعاً بمعاملات صغيرة.

ج. مراقبتهما وهما يتقلّصان

باستخدام مجموعة المشاهدات الخمس من الانحدار الخطي من المبادئ الأولى ($x = 1..5$، $y = 2,4,5,4,5$)، التي كانت ملاءمتها بالمربّعات الصغرى $\hat y = 2.2 + 0.6x$:

تجذب الطريقتان الميل إلى أسفل كلما كبر $\lambda$، ويرتفع المقطع تعويضاً - فهو غير معاقَب، ومن ثم يمتصّ المستوى.

والفارق في كيفية اقترابهما من الصفر هو بيت القصيد. ريدج يقسم: ميله $6/(10 + \lambda)$، فعند $\lambda = 20$ يساوي $0.2$، أي ثلث قيمته الأصلية، لكنه حيّ. أما لاسو فيطرح: ميله $(6 - \lambda/2)/10$، فيبلغ $0.0$ تماماً عند $\lambda = 12$ ويلبث عنده. ومن ثم يصبح النموذج مجرّد $\hat y = 4.0 = \bar y$ - أي أن المتنبّئ أُطفئ تماماً.

هذه الأرقام تلائم $x$ الخام لا $x$ موحَّد المقياس. ومع متنبّئ واحد لا يغيّر ذلك إلا قيمةَ $\lambda$ التي تُنتج كل صف، لا شكلَ أيٍّ من المسارين.

يطبع تشغيله كل صف من الجدول، بما في ذلك lambda=12 ridge 0.2727 3.1818 lasso 0.0000 4.0000. وانتبه إلى المقياس: فـLasso في scikit-learn يقسم RSS على $2n$، ومن ثم فإن alpha فيه تساوي $\lambda/(2n)$. ولو مُرِّرت $\lambda$ كما هي لَلُوئم كل صف من صفوف لاسو بعقوبة أكبر بعشر مرات من صف ريدج المجاور له.

تحفّظ على هذا العرض. مع متنبّئ واحد وخمس مشاهدات لا يوجد ما يُختار - فالتناثر لا يصير مثيراً للاهتمام إلا حين تكون بعض المتنبّئات غير ذات صلة فعلاً ويستطيع لاسو إطفاءها مع إبقاء البقية. يعرض الجدول الآلية بأمانة، لا السياق الذي تؤتي فيه ثمارها.

د. لماذا تتصرّف العقوبتان تصرّفاً مختلفاً

السرد الهندسي هو الأوضح. يمكن كتابة المسألتين هكذا: صغّر RSS تحت ميزانية على حجم المعاملات -

$$\sum_j \beta_j^2 \le s \quad\text{(ridge)}, \qquad \sum_j |\beta_j| \le s \quad\text{(lasso)} .$$

في بُعدين تكون ميزانية ريدج دائرة وميزانية لاسو معيّناً رؤوسه على المحاور. ويقع الحل حيث تلمس كنتورات RSS الإهليلجية منطقةَ الميزانية لأول مرة.

الدائرة بلا رؤوس، فلا تكاد نقطة التماس تقع على محور بالضبط - ويبقى المعاملان غير صفريين. أما رؤوس المعيّن فتقع على المحاور، والكنتورات المتمدّدة تصيب رأساً بسهولة. والرأس يعني أن أحد المعاملين صفر تماماً. وفي الأبعاد الأعلى يزداد عدد رؤوس المعيّن وحوافّه وأوجهه، وإصابة أحدها تصفّر عدة معاملات دفعةً واحدة.

هـ. لماذا يخفض هذا الخطأ

التنظيم هو مقايضة التحيّز والتباين مطبَّقةً عن عمد. فتقليص المعاملات بعيداً عن قيم المربّعات الصغرى يُدخل تحيّزاً: إذ لم يعد المقدّر متمركزاً على الحقيقة. لكنه يجعل الملاءمة أيضاً أقل حساسية بكثير لأي عيّنة بعينها سحبتها، وهو ما يخفض التباين.

وحين يهبط التباين أسرع مما يرتفع مربّع التحيّز، يهبط الخطأ الكلي المتوقّع. وهذا أرجح ما يكون حين تكون المربّعات الصغرى غير مستقرة: متنبّئات كثيرة قياساً بالمشاهدات، أو متنبّئات شديدة الارتباط. وفي الحالة القصوى $p > n$ لا يوجد للمربّعات الصغرى حلّ وحيد أصلاً. أما ريدج فيبقى له حلّ واحد بالضبط، ويبقى للاسو حلول لكنها ليست بالضرورة وحيدة (فعمودان متطابقان يمكنهما اقتسام وزنهما بطرق كثيرة بالكلفة نفسها).

ينمو التحيّز نمواً مطّرداً مع $\lambda$ ويهبط التباين هبوطاً مطّرداً، ومن ثم توجد قيمة مثلى داخلية - ولا يمكن إيجادها من خطأ التدريب، الذي يفضّل $\lambda = 0$ دائماً. بل تُختار بـالتحقّق المتقاطع على شبكة من قيم $\lambda$.

و. الاختيار بينهما

لا يتفوّق أحدهما مطلقاً. إنها مسألة تجريبية خاصة بالمسألة، تُحسَم بالتحقّق المتقاطع لكليهما. والصف الأخير مطبّ عملي: فمع مجموعة من المتنبّئات المترابطة قد يكون اختيار لاسو الاعتباطي غير مستقر عبر إعادات المعاينة، ولهذا وُجدت الشبكة المرنة (elastic net) التي تجمع العقوبتين.

الخلاصات الأساسية

• يضيف التنظيم إلى RSS عقوبة على حجم المعاملات، يضبطها $\lambda$، مبادلاً ملاءمة التدريب بالاستقرار.
• ريدج ($\ell_2$) يقلّص المعاملات نحو الصفر؛ ولاسو ($\ell_1$) يصفّر بعضها تماماً، فيؤدي اختياراً للمتغيّرات.
• يجب توحيد مقاييس المتنبّئات، ولا يُعاقَب المقطع أبداً.
• الفرق هندسي: الميزانية الدائرية بلا رؤوس، والمعيّن له رؤوس على المحاور.
• يعمل عبر مبادلة قليل من التحيّز بخفض كبير في التباين؛ ويجب اختيار $\lambda$ بالتحقّق المتقاطع، لا بخطأ التدريب أبداً.

ما التالي

كان كل نموذج حتى الآن صيغة عامة واحدة. وثمّة استراتيجية مختلفة: تقطيع فضاء المتنبّئات إلى مناطق والتنبّؤ بثابت في كل منها - وهو ما يعالج التفاعلات واللاخطية دون أن يحدّدها أحد سلفاً. وذلك هو أشجار القرار والتجميعات.