ما هو التعلّم الإحصائي؟

كل نموذج موجَّه في هذا الموقع - الانحدار الخطي، والأشجار، والشبكات العصبية - هو إجابة عن السؤال نفسه، مطروحاً بالترميز نفسه. وقبل مقارنة الطرق يجدر بنا صياغة ذلك السؤال بدقة، لأنه يخبرك أيضاً أي جزء من خطئك يمكنك أن تأمل في إزالته وأي جزء ستبقى عالقاً به مهما كانت طريقتك جيدة.

أ. الإطار

نرصد استجابة $Y$ و$p$ من المتنبّئات $X = (X_1, X_2, \dots, X_p)$. ونفترض وجود علاقة ما بينها، تُكتب في الصورة العامة

$$Y = f(X) + \varepsilon .$$

هنا $f$ دالة ثابتة لكنها مجهولة تمثّل المعلومات المنهجية التي يقدّمها $X$ عن $Y$، و$\varepsilon$ حدّ خطأ عشوائي مستقل عن $X$ ومتوسطه صفر.

التعلّم الإحصائي هو مجموعة الأساليب المستخدَمة لتقدير $f$.

يُكتب التقدير $\hat f$، والتنبّؤ الذي يُنتجه هو $\hat Y = \hat f(X)$.

ب. الخطأ القابل للتقليص وغير القابل له

لنفترض للحظة أن $\hat f$ و$X$ ثابتان. إلى أي مدى يكون $\hat Y$ خاطئاً كتنبّؤ بـ $Y$؟ باتّباع جيمس وزملائه، يتفكّك الخطأ التربيعي المتوقّع إلى جزأين متمايزين مفاهيمياً:

$$\mathbb{E}\big[(Y - \hat Y)^2\big] = \underbrace{\big[f(X) - \hat f(X)\big]^2}_{\text{reducible}} + \underbrace{\operatorname{Var}(\varepsilon)}_{\text{irreducible}} .$$

الحدّ الأول قابل للتقليص: فـ $\hat f$ ليس تقديراً مثالياً لـ $f$، ويمكننا تضييق تلك الفجوة باختيار طريقة أفضل أو بجمع مزيد من البيانات.

والحدّ الثاني غير قابل للتقليص، وهو المهم. فحتى مع تقدير مثالي - حتى لو كان $\hat f = f$ تماماً - سيظل التنبّؤ خاطئاً بمقدار $\varepsilon$، لأن $Y$ يعتمد على $\varepsilon$، و$\varepsilon$ بحكم التعريف غير قابل للتنبّؤ به من $X$.

لماذا يكون الخطأ غير القابل للتقليص أكبر من الصفر؟ لسببين، يستحق كلاهما الاستيعاب. أولاً، قد يحتوي $\varepsilon$ على متغيّرات غير مقيسة كانت ستساعد في التنبّؤ بـ $Y$ - وبما أننا لم نقِسها، لا يمكن لأي $f$ مبنيّ على $X$ أن يستخدمها. وثانياً، قد يحتوي على تباين غير قابل للقياس فعلاً: فالمدخلات نفسها في يومين مختلفين لا تنتج ببساطة مخرجات متطابقة.

والنتيجة العملية سقف صلب. إن $\operatorname{Var}(\varepsilon)$ حدّ أعلى لما يمكن أن يبلغه أي نموذج، وهو مجهول في الممارسة العملية غالباً. والنموذج الذي يبدو أنه تجاوزه ليس انتصاراً، بل علامة على أنك تقيس خطأ الاختبار على بيانات سبق للنموذج أن رآها.

ج. التنبّؤ في مقابل الاستدلال

هناك سببان لتقدير $f$، وهما يشدّان في اتجاهين متعاكسين.

في التنبّؤ، كل ما يهمّك أن يكون $\hat Y$ قريباً من $Y$. ويمكن أن يكون التقدير $\hat f$ صندوقاً أسود بالكامل - فلن تفتّشه أبداً - ما دام دقيقاً.

أما في الاستدلال، فأنت تريد فهم العلاقة: أي المتنبّئات مهمّ فعلاً، وهل يرفع كلٌّ منها الاستجابة أم يخفضها، وهل يكفي ملخّص خطي بسيط. وهنا لا يمكن أن يكون $\hat f$ صندوقاً أسود، لأن شكل النموذج هو الإجابة.

ويتكرّر هذا التوتّر باستمرار:

النموذج المُختار للدقة وحدها سيكون غالباً نموذجاً لا تستطيع شرحه، والنموذج المُختار للشرح سيترك غالباً بعض الدقة على الطاولة. ومعرفة أيّ المهمتين تؤدّي شرطٌ مسبق لأي اختيار رشيد.

د. التقدير البارامتري وغير البارامتري

هناك على وجه العموم استراتيجيتان لإنتاج $\hat f$.

الطرق البارامترية تختزل المسألة إلى تقدير مجموعة ثابتة من الأعداد. إذ تفترض أولاً صورة دالّية - وأبسطها أن يكون $f$ خطياً:

$$f(X) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p ,$$

فلا يبقى إلا تقدير المعاملات الـ$p+1$ بدل دالة اعتباطية في $p$ بُعداً. وهذا تبسيط هائل. والخطر واضح بالقدر نفسه: إن كان $f$ الحقيقي بعيداً عن الخطية، فلن يلائمه أي اختيار للمعاملات، ويكون النموذج خاطئاً على نحو لا تُصلحه زيادة البيانات.

أما الطرق غير البارامترية فلا تفترض ذلك وتترك البيانات تحدّد الشكل. ويمكنها ملاءمة مدى أوسع بكثير من الدوال الحقيقية، لكن لأنها لا تختزل المسألة إلى بضعة بارامترات، فهي تحتاج إلى مشاهدات أكثر بكثير لتثبيت الشكل بموثوقية.

هـ. لماذا المرونة ليست مجانية

من المغري أن نستنتج أن الطرق غير البارامترية المرنة أفضل ببساطة. وهي ليست كذلك، لسببين.

أولاً، كما ذُكر، هي أشدّ نهماً للبيانات. وثانياً - وهو أقل بداهة - يمكن لطريقة بالغة المرونة أن تتبع الضجيج $\varepsilon$ في عيّنة التدريب كأنه إشارة. فتبدو الملاءمة للبيانات التي بحوزتك رائعة بينما يتدهور الأداء على بيانات لم ترَها.

يرسم الشكل منحنيات تخطيطية، لا ملاءمات كثيرات الحدود أدناه: فكلّما رفعت تعقيد النموذج هبط خطأ التدريب باطّراد، بينما يعود خطأ الاختبار إلى الصعود.

يُظهر ما يلي هذه النقطة على بيانات نعرف حقيقتها، فنستطيع مقارنة الملاءمة بـ $f$ نفسه لا بمشاهدات مشوّشة:

يطبع تشغيله:

degree  1:  training MSE 0.1985   error vs true f 0.2465
degree  3:  training MSE 0.0542   error vs true f 0.0235
degree 15:  training MSE 0.0258   error vs true f 730.5159

اقرأ العمودين أحدهما مقابل الآخر. يهبط متوسط مربّع خطأ التدريب هبوطاً مطّرداً مع المرونة - فالدرجة 15 تلائم النقاط المرصودة أفضل من الاثنتين الأخريين، عند $0.0258$. ومع ذلك يبلغ خطؤها مقابل $f$ الحقيقي $730.5$: لا أسوأ هامشياً من $0.0235$ للدرجة 3، بل أسوأ نحو ثلاثين ألف مرة.

يستحق هذا الانفجار الفهم لا مجرد التسجيل. فكثير حدود من الدرجة 15 مُلائَم على 25 نقطة يملك حرية كافية للتلوّي عبر الضجيج، وتصير التموّجات اللازمة لذلك عنيفة قرب حدّي الفترة، حيث تقلّ النقاط التي تقيّده. وعند التقييم على الشبكة الكثيفة، تهيمن تلك النزوات الحدّية على المتوسط. وهذا نمط إخفاق حقيقي ومعروف جيداً في ملاءمات كثيرات الحدود عالية الدرجة، لا أثر جانبي لبذرة العشوائية.

في المقابل تُظهر الدرجة 1 الإخفاق المعاكس: خطؤها التدريبي أسوأ بكثير من خطأ الدرجة 15، لكنها صادقة في ذلك - إذ إن الخطأ مقابل الحقيقة، $0.2465$، قريب من خطئها التدريبي، لأن المستقيم أصلب من أن يطارد الضجيج. إنه ببساطة الشكل الخاطئ لموجة جيبية.

وتفوز الدرجة 3 في العمود الوحيد الذي يهمّ. وهذه الفجوة بين «ملاءمة العيّنة» و«التقاط الحقيقة» هي الظاهرة المركزية في هذا الموضوع، ولها تفكيك دقيق.

الخلاصات الأساسية

• يقدّر التعلّم الإحصائي دالة مجهولة $f$ في $Y = f(X) + \varepsilon$.
• ينقسم خطأ التنبّؤ إلى جزء قابل للتقليص يمكن للطرق الأفضل تصغيره، وجزء غير قابل للتقليص هو $\operatorname{Var}(\varepsilon)$ لا يقلّصه شيء.
• يوجد الخطأ غير القابل للتقليص بسبب تباين غير مقيس وآخر غير قابل للقياس؛ وهو سقف صلب لدقة أي نموذج.
• يفضّل التنبّؤ النماذج المرنة المعتمة؛ ويفضّل الاستدلال النماذج المقيَّدة القابلة للتفسير. فقرّر أولاً أيّهما تفعل.
• الطرق البارامترية تفترض صورة وتقدّر بارامترات قليلة؛ والطرق غير البارامترية تفترض أقل لكنها تحتاج بيانات أكثر بكثير.
• زيادة المرونة تحسّن خطأ التدريب دائماً، وبعد حدّ معيّن تُفسِد الدقة على البيانات الجديدة.

ما التالي

تستحق الملاحظة الأخيرة سرداً دقيقاً لا حكايةً عابرة. فالخطأ القابل للتقليص ينقسم هو نفسه إلى جزأين متنافسين - أحدهما يتقلّص كلما ازدادت النماذج مرونة والآخر ينمو - ومجموعهما هو ما تدفعه فعلاً. وذلك هو مقايضة التحيّز والتباين.