التحقّق المتقاطع وإعادة المعاينة

انتهت مقالة مقايضة التحيّز والتباين بجدول تشخيصي يقارن خطأ التدريب بخطأ الاختبار. وتفترض تلك المقارنة أنك تملك خطأ اختبار. وعادةً لا تملكه: فكل مشاهدة بحوزتك أُنفقت بالفعل على الملاءمة. وتحلّ طرق إعادة المعاينة هذه المشكلة بإعادة ملاءمة النموذج مراراً على مجموعات جزئية من البيانات، واستخدام الأجزاء المحجوزة لتقدير الأداء على بيانات لم يرَها النموذج.

أ. لماذا ليس خطأ التدريب تقديراً لخطأ الاختبار

يُقاس خطأ التدريب على المشاهدات نفسها التي استُخدمت لاختيار البارامترات، فتكون عملية الملاءمة قد تكيّفت أصلاً مع أي ضجيج تحمله تلك النقاط. ومن ثم فهو متحيّز إلى أسفل بوصفه تقديراً للأداء على بيانات جديدة، ويزداد التحيّز مع مرونة النموذج.

وليس هذا تصحيحاً صغيراً يمكن إهماله. بل هو بالضبط المقدار الذي جعل كثير الحدود من الدرجة 15 يبدو الأفضل في المقالات السابقة بينما كان أسوأ النماذج الثلاثة. وأي إجراء اختيار تقوده أخطاء التدريب سيختار حتماً أكثر المرشّحين مرونة.

ب. أسلوب مجموعة التحقّق

أبسط علاج: قسّم المشاهدات عشوائياً إلى مجموعة تدريب ومجموعة تحقّق، ولائم على الأولى وقِس الخطأ على الثانية. ولأن مشاهدات التحقّق لم تشارك في الملاءمة، فالخطأ الناتج تقدير أمين.

وله عيبان معروفان:

1. التقدير شديد التقلّب. فهو يتوقّف على المشاهدات التي صادف وقوعها في مجموعة التحقّق. وتقسيم مختلف يعطي رقماً مختلفاً بوضوح.
2. يهدر البيانات. إذ لا يُستخدم للملاءمة سوى جزء، والطرق الإحصائية تؤدي عادةً أسوأ مع عدد أقل من المشاهدات، فيميل خطأ التحقّق إلى المبالغة في تقدير خطأ النموذج الذي كنت ستلائمه على البيانات كاملة.

ج. التحقّق المتقاطع بترك واحد

تعالج LOOCV الأمرين. فمع $n$ مشاهدة، احجز مشاهدة واحدة $(x_i, y_i)$، ولائم على الـ$n-1$ المتبقية، وتنبّأ بالمتروكة. كرّر ذلك لكل $i$، ثم خذ المتوسط:

$$\mathrm{CV}_{(n)} = \frac{1}{n}\sum_{i=1}^{n} \mathrm{MSE}_i , \qquad \mathrm{MSE}_i = (y_i - \hat y_i)^2 .$$

تستخدم كل ملاءمة $n-1$ مشاهدة، فالتحيّز إلى أعلى أقل بكثير منه مع مجموعة تدريب بنصف الحجم، ولأنها تأخذ المتوسط على كل حجب مفرد ممكن فلا عشوائية في التقسيم إطلاقاً - شغّلها مرتين تحصل على الإجابة نفسها.

د. LOOCV محسوبة بالكامل

مجموعة البيانات صغيرة بما يكفي لتنفيذ كل طيّة صراحةً. خمس مشاهدات، ومتنبّئ واحد:

تعطي ملاءمة انحدار خطي بسيط على الخمس جميعاً $\hat y = 2.2 + 0.6x$ - وهي الملاءمة المشتقّة خطوةً خطوة في الانحدار الخطي من المبادئ الأولى. وتعيد LOOCV ملاءمته خمس مرات، تحذف في كل مرة صفاً:

$$\mathrm{CV}_{(5)} = \frac{4.0000 + 0.7347 + 1.5625 + 0.7347 + 0.2500}{5} = \frac{7.2819}{5} = 1.4564 .$$

قارن ذلك بمتوسط مربّع خطأ التدريب للملاءمة الكاملة، وهو $\mathrm{RSS}/n = 2.4/5 = 0.48$. فالتقدير الأمين، $1.4564$، أكبر ثلاث مرات. وتلك الفجوة هي بالضبط التفاؤل الذي افتُتحت به هذه المقالة.

ولاحظ أيضاً الطيّة 1: حذف $(1,2)$ - النقطة الأبعد أسفل المستقيم - يدع الأربع الباقية تجذب الملاءمة إلى أعلى، فيخطئ التنبّؤ بمقدار 2.0 أي خطأ تربيعي 4.0، وهو أكثر من نصف المجموع. فمع خمس مشاهدات فقط، تهيمن نقطة واحدة مؤثّرة. وهذه خاصية حقيقية للتقدير، لا عيب في الطريقة.

يعيد تشغيله إنتاج الجدول صفاً صفاً ويطبع LOOCV MSE: 1.4564، مؤكّداً الحساب اليدوي.

هـ. التحقّق المتقاطع بـ k طيّات

تتطلّب LOOCV $n$ ملاءمة، وهو مكلف حين يكون $n$ كبيراً أو الملاءمة بطيئة. أما التحقّق المتقاطع بـ k طيّات فيقسّم المشاهدات إلى $k$ مجموعة متقاربة الحجم، ويحجز كل مجموعة بدورها، ثم يأخذ المتوسط:

$$\mathrm{CV}_{(k)} = \frac{1}{k}\sum_{j=1}^{k} \mathrm{MSE}_j .$$

وLOOCV هي الحالة الخاصة $k = n$. واستخدام $k = 5$ أو $k = 10$ لا يحتاج سوى 5 أو 10 ملاءمات بدل $n$.

و. لماذا k=5 أو k=10 لا k=n

القراءة البديهية أن $k$ الأصغر مجرّد مساومة حسابية. وليس الأمر كذلك - فهناك مقايضة تحيّز-تباين في التقدير نفسه.

التحيّز يحبّذ $k$ الكبيرة. فكل ملاءمة في LOOCV تستخدم $n-1$ مشاهدة، أي البيانات كلها تقريباً، فلا تكاد تبالغ في تقدير الخطأ. أما ملاءمات الطيّات الخمس فلا تستخدم سوى 80٪ من البيانات، فتبالغ أكثر قليلاً.

التباين يحبّذ $k$ المعتدلة. ففي LOOCV تُدرَّب النماذج الـ$n$ على بيانات شبه متطابقة - إذ لا يختلف أي اثنين إلا في مشاهدتين - فتكون أخطاؤها شديدة الارتباط الموجب. ومتوسّط كميات شديدة الارتباط يخفض التباين أقل بكثير من متوسّط كميات ضعيفة الارتباط. ومع $k = 5$ أو $10$ تتداخل مجموعات التدريب أقل، فتقلّ ارتباطات الأخطاء ويصبح المتوسط أثبت.

وباتّباع جيمس وزملائه، ثبت تجريبياً أن $k = 5$ و$k = 10$ تعطيان تقديرات لخطأ الاختبار لا تعاني تحيّزاً مفرطاً ولا تبايناً عالياً جداً. وهذا سبب الاصطلاح، وهو نتيجة تجريبية لا مبرهنة.

ز. طريقتان للخطأ في هذا

اختيار السمات قبل التحقّق المتقاطع. إذا غربلت المتنبّئات باستخدام البيانات كاملة ثم أجريت تحقّقاً متقاطعاً للنموذج المبنيّ على الناجين، تكون الطيّات المحجوزة قد أثّرت أصلاً في اختيار السمات. وسيكون التقدير متفائلاً، أحياناً بشكل صارخ. فكل اختيار يعتمد على البيانات يجب أن يقع داخل الحلقة.

التحقّق المتقاطع لمشاهدات مترابطة بتقسيم عشوائي. تفترض الطريقة أن المشاهدات المحجوزة مستقلة عن مشاهدات التدريب. ومع السلاسل الزمنية، أو القياسات المتكرّرة على الشخص نفسه، أو البيانات المجمّعة، يسرّب التقسيم العشوائي معلومات عبر الحدّ. استخدم تقسيماً يحترم البنية - التسلسل الأمامي للزمن، والطيّات المجمّعة للعناقيد.

وفي التصنيف ينتقل كل ما سبق كما هو مع استبدال مقياس الخطأ التربيعي بمعدّل الخطأ في التصنيف؛ ومنطق الطيّات واحد.

الخلاصات الأساسية

• خطأ التدريب متحيّز إلى أسفل بوصفه تقديراً لخطأ الاختبار، ويسوء مع المرونة، فلا يصلح لاختيار النماذج.
• تقسيم التحقّق أمين لكنه عالي التباين ويهدر البيانات.
• LOOCV تأخذ متوسط $n$ حجباً مفرداً: لا عشوائية تقسيم، وتحيّز ضئيل. وعلى بياناتنا ذات الخمس نقاط أعطت $1.4564$ مقابل خطأ تدريب $0.48$.
• طيّات k بـ$k = 5$ أو $10$ هي المساومة القياسية - أرخص من LOOCV وأفضل تجريبياً لأن الملاءمات الأقل ارتباطاً تتوسّط بفعالية أكبر.
• كل قرار يعتمد على البيانات يجب أن يقع داخل حلقة إعادة المعاينة، ويجب أن تحترم بنية الطيّات الترابط الموجود في البيانات.

ما التالي

استخدمنا الملاءمة الخطية مثالاً متكرّراً ثلاث مرات حتى الآن دون اشتقاقها. وتلك هي الثغرة التي يجب سدّها: الانحدار الخطي من المبادئ الأولى يبني مقدّر المربّعات الصغرى من الصفر ويبيّن من أين جاء $\hat y = 2.2 + 0.6x$.