فهم أقرب k جار
عند تصنيف نقطة، تجد طريقةُ أقرب k جار مشاهدات التدريب الـ k الأقرب إليها، وتقدّر احتمالات الأصناف بنسبها بين أولئك الجيران، وتتنبأ بأكثرها شيوعًا. ولا يُلاءَم شيء سلفًا: بل تُحفَظ مجموعة التدريب كلها ويُرجَع إليها وقت التنبؤ، مما يجعل التدريب فوريًا والتنبؤ مكلفًا - عكس أكثر الطرائق.
ويتحكم اختيار k في المرونة تحكمًا مباشرًا. فعند k = 1 تكون كل نقطة تدريب أقرب جار لنفسها، فيكون خطأ التدريب صفرًا تمامًا ويكون الحدّ مسنّنًا: ملاءمة عالية التباين تستجيب لآحاد المشاهدات. وكلما كبر k نعُم الحدّ وهبط التباين وارتفع التحيّز، حتى إذا اقترب k من حجم العينة صوّتت مجموعة التدريب كلها تقريبًا في كل تنبؤ فأعاد المصنّف الصنف الأكثر شيوعًا مهما كان المدخل.
ولأنها لا تفرض أي صورة على الحدّ، تستطيع الطريقة مقاربة مناطق قرار منحنية أو منفصلة يعجز النموذج الخطي عن تمثيلها أصلًا. والثمن أنها لا تملك سبيلًا إلى تجاهل متغير غير ذي صلة: فكل بُعد يسهم في المسافة، فتتدهور الدقة كلما أُضيفت متغيرات غير مخبرة - وهي صورة من لعنة الأبعاد، حيث لا يكون أقرب الجيران في الأبعاد العالية قريبًا بأي معنى نافع.
وتستحق مقاييس المسافة عنايةً لا تنالها عادةً. فالمسافة الإقليدية على المتغيرات الخام تدع متغيرًا مقيسًا بوحدات كبيرة يهيمن على الحساب، فينبغي توحيد المتغيرات معياريًا ما لم تكن مقاييسها النسبية ذات دلالة مقصودة. ولا تقدّم الطريقة كذلك معاملات ولا ملخّصًا: فهي تستطيع أن تقول بم تتنبأ لا لماذا، وذلك يستبعدها حيث يجب أن يكون الاستدلال قابلًا للفحص.
كيفية الحساب
P(Y = j | X = x₀) = (1/k) Σ_{i ∈ N₀} I(yᵢ = j)
حيث
- x₀
- النقطة المراد تصنيفها
- N₀
- مشاهدات التدريب الـ k الأقرب إلى x₀
- I(yᵢ = j)
- واحد إن كان الجار i من الصنف j، وصفر خلاف ذلك
- k
- عدد الجيران المستشارين - معلمة المرونة
مثال على أقرب k جار
على مسألة ثنائية البعد معدل خطئها الأمثل 0.092708، تعطي طريقة أقرب k جار المُلاءَمة على 200 نقطة تدريب والمقيسة على 20,000 نقطة اختبار خطأ 0.138200 عند k = 1، وتهبط إلى أفضل قيمة 0.097150 عند k = 15، ثم ترتفع ثانيةً إلى 0.103550 عند k = 75.
وعند k = 199 من أصل 200 نقطة تدريب يبلغ الخطأ 0.504850 - أي احتمال الصنف القبلي جوهريًا، لأن العينة كلها تقريبًا تصوّت في كل تنبؤ. وعلى الطرف الآخر، خطأ التدريب عند k = 1 صفر تمامًا بينما خطأ اختباره أسوأ من كل قيم k عدا k = 199 المنحلّة، وهو أوضح برهان ممكن على أن خطأ التدريب ليس تقديرًا لخطأ الاختبار.
وأفضل قيمة داخلية، ولا توجد لها صيغة. وتُختار بالتحقق المتقاطع، والقاع الضحل هنا بين k = 9 وk = 45 نمطي: فالطريقة ليست حساسة عادةً لضبط k بدقة، بل لضبطه تقريبًا.
الأسئلة الشائعة
كيف يُختار k؟
بالتحقق المتقاطع، في كل الأحوال تقريبًا. فمنحنى خطأ الاختبار على شكل U بدلالة k، والبحث حسن السلوك، وk الفردي يتجنب التعادل في المسائل ثنائية الصنف. ولا توجد إجابة تحليلية لأن الأمثل يتوقف على مستوى الضجيج وعلى الكثافة المحلية للبيانات.
لماذا يتدهور الأداء كلما أُضيفت متغيرات؟
في الأبعاد العالية تكون نقاط التدريب كلها متباعدة ومتساوية البعد تقريبًا، فلا يكون أقرب k جار لنقطة اختبار محليًا لها بأي معنى ذي بال. وعندئذ تحسب الطريقة متوسطًا على مشاهدات لا تحمل عن النقطة المتنبَّأ بها إلا قليلًا.
هل تُفضَّل أحيانًا على طريقة معلمية؟
نعم، حين يكون الحدّ الفاصل الحقيقي شديد اللاخطية وتتوفر بيانات كافية لتتبّعه. أما حين يكون الحدّ قريبًا فعلًا من الخط المستقيم فستتفوق عليه طريقة خطية، لأن الافتراض المعلمي حينئذ توفيرٌ حقيقي لا قيد.
الخلاصة
لا تفترض طريقة أقرب k جار شيئًا عن صورة الحدّ الفاصل، فتستطيع من ثمّ أن تجد صورًا لا يعبّر عنها أي نموذج خطي، وذلك بثمن مزيد من البيانات ومزيد من زمن التنبؤ وتوحيد معياري دقيق للمتغيرات. وحّد المقاييس، واختر k بالتحقق المتقاطع، وتوقّع أن تخبو الطريقة كلما تكاثرت المتغيرات غير ذات الصلة.