بايز الساذج

للتصنيف بالاحتمال تودّ الحصول على P(الفئة | السمات)، وهي بمبرهنة بايز تتناسب مع P(السمات | الفئة) · P(الفئة). والصعوبة في العامل الأول: فنمذجة التوزيع المشترك على كل السمات في آنٍ واحد تتطلّب كمية بيانات تنمو أسّياً مع عدد السمات.

ويقطع بايز الساذج هذه العقدة بافتراض استقلال السمات شرطياً بمعلومية الفئة. وتحت ذلك الافتراض تتحلّل الأرجحية المشتركة إلى جداء حدود أحادية البعد، يمكن تقدير كلٍّ منها بعدّ بسيط أو ملاءمة كثافة بسيطة. فنموذج بألف سمة لا يحتاج إلا ألف تقدير صغير بدل تقدير مشترك مستعصٍ. ويصف راسل ونورفيغ هذه البنية بالضبط، أي سبباً واحداً يؤثّر في آثار كثيرة مستقلّة شرطياً بمعلومية السبب، ويلاحظان أن النموذج يُسمّى «ساذجاً» بالضبط لأنه يُطبَّق روتينياً حيث لا يصحّ ذلك الاستقلال فعلاً.

والافتراض منتهَك دائماً تقريباً: ففي تصنيف النصوص، يغيّر حضور كلمة بوضوح أرجحية ظهور الكلمات المرتبطة بها. وما ينقذ الطريقة أن التصنيف يعتمد على أي فئة تسجّل الأعلى فقط، لا على صحّة الدرجات. فافتراض الاستقلال يشوّه المقادير، تشويهاً شديداً غالباً، مع إبقائه الترتيبَ سليماً كثيراً.

والنتيجة العملية حكم منقسم. فبايز الساذج خطُّ أساس قوي وسريع للغاية للمسائل عالية الأبعاد كالنصوص، ويظلّ صالحاً حين تشحّ البيانات. لكن احتمالاته المخرَجة لا ينبغي أن تُقرأ ثقاتٍ معايَرة: إذ تُدفَع عادةً نحو 0 و1، لأن ضرب حدود مترابطة كثيرة كأنها مستقلة يبالغ في تقدير الأدلّة المتراكمة.

في ترشيح البريد المزعج، تكون كل سمة حضورَ كلمة بعينها. وملاءمة النموذج تمرين عدّ: فلكل فئة، سجّل كم مرة تظهر كل كلمة في رسائل تلك الفئة، وكم شائعة الفئة نفسها.

ولتصنيف رسالة جديدة، اضرب قبليّ الفئة في أرجحيات الكلمات التي تحتويها، مرةً للمزعج ومرةً لغير المزعج، واختر الأكبر. وعملياً يجري الحساب بجمع اللوغاريتمات لا بضرب الاحتمالات، لأن جداء آلاف الأعداد الصغيرة ينهار إلى صفر في الفاصلة العائمة.

والكلمة التي لم تُرَ قط في بيانات تدريب فئة ستعطي تلك الفئة أرجحية صفرية تماماً، فتُفني الجداء كلّه مهما كانت بقية الأدلّة. والعلاج المعياري هو التنعيم الجمعي (لابلاس): أضف ثابتاً صغيراً إلى كل عدّ حتى لا يكون أي احتمال صفراً تماماً.