الانحدار اللوجستي والتصنيف

لائم مقال الانحدار الخطي من المبادئ الأولى استجابةً عددية. لكن كثيراً من المسائل تطرح سؤالاً فئوياً بدل ذلك: هل ينتمي هذا إلى الفئة أ أم إلى الفئة ب؟ وما نريده عادةً ليس التسمية بل احتمال التسمية، والاحتمالات مقيَّدة على نحو لا تُقيَّد به المستقيمات.

أ. لماذا لا نلائم مستقيماً وحسب؟

رمّز الفئتين بـ$0$ و$1$ وشغّل المربّعات الصغرى. المستقيم المُلائَم هو $\hat\beta_0 + \hat\beta_1 X$، وهو معرّف لكل $X$ حقيقي، ومن ثم يتجاوز $1$ في النهاية ويهبط تحت $0$ في النهاية. وبوصفه تقديراً لـ $P(Y = 1 \mid X)$ فهذا ليس غير دقيق فحسب، بل مستحيل - إنه ينتهك بديهيتي الاحتمالات من الصفر.

نحتاج إلى نموذج يكون خرجه محصوراً في $(0, 1)$ بحكم بنائه.

ب. الدالة اللوجستية

يُنمذج الانحدار اللوجستي الاحتمال مباشرة:

$$p(X) = P(Y = 1 \mid X) = \frac{e^{\beta_0 + \beta_1 X}}{1 + e^{\beta_0 + \beta_1 X}} .$$

وبكتابة $z = \beta_0 + \beta_1 X$، تصبح هذه هي الدالة اللوجستية (أو السيغمويد)

$$\sigma(z) = \frac{1}{1 + e^{-z}} ,$$

والصورتان متطابقتان جبرياً (اقسم بسط الأولى ومقامها على $e^{z}$). وسلوكها هو بالضبط ما نحتاجه: حين $z \to +\infty$ يكون $\sigma \to 1$؛ وحين $z \to -\infty$ يكون $\sigma \to 0$؛ و$\sigma(0) = 0.5$. فالخرج يقترب من الطرفين دون بلوغهما أبداً.

بعض القيم، مع $z = -4 + x$:

ج. الأرجحية ولوغاريتمها: ما معنى المعاملات

إعادة ترتيب النموذج تعطي الأرجحية:

$$\frac{p(X)}{1 - p(X)} = e^{\beta_0 + \beta_1 X} ,$$

وأخذ اللوغاريتم يعطي لوغاريتم الأرجحية أو اللوجيت:

$$\log\!\left(\frac{p(X)}{1 - p(X)}\right) = \beta_0 + \beta_1 X .$$

بهذا المعنى يكون الانحدار اللوجستي نموذجاً خطياً - خطياً في لوغاريتم الأرجحية، لا في الاحتمال. فالأرجحية تمتد من $0$ إلى $\infty$، ولوغاريتمها يغطي المستقيم الحقيقي كله، وهو بالضبط المدى الذي تحتاجه دالة خطية.

إذاً $\beta_1$ هو التغيّر في لوغاريتم الأرجحية لكل زيادة بمقدار وحدة في $X$، و$e^{\beta_1}$ هو التغيّر الضربي في الأرجحية.

أشيع سوء قراءة. $\beta_1$ ليس التغيّر في الاحتمال لكل وحدة من $X$. فلأن المنحنى اللوجستي على شكل حرف S، تحرّك الخطوة الواحدة نفسُها الاحتمالَ كثيراً قرب $p = 0.5$ ولا تكاد تحرّكه في الذيلين. ولوغاريتم الأرجحية وحده هو ما يتغيّر بمقدار ثابت.

د. الملاءمة بالإمكان الأعظم

المربّعات الصغرى ليست المعيار الطبيعي هنا. بل نختار المعاملات التي تجعل التسميات المرصودة أكثر احتمالاً. وتسهم كل مشاهدة بـ $p(x_i)$ إن كان $y_i = 1$ وبـ $1 - p(x_i)$ إن كان $y_i = 0$، وهو ما يتركّب في دالة الإمكان

$$\ell(\beta_0, \beta_1) = \prod_{i:\,y_i=1} p(x_i) \prod_{i:\,y_i=0}\big(1 - p(x_i)\big) .$$

ويحوّل أخذ اللوغاريتم الجداءَ إلى مجموع - وهو أفضل سلوكاً عددياً بكثير - فينتج لوغاريتم الإمكان

$$\log \ell = \sum_{i=1}^{n}\Big[y_i \log p(x_i) + (1-y_i)\log\big(1 - p(x_i)\big)\Big] .$$

وخلافاً للمربّعات الصغرى، ليس لهذا حلّ في صورة مغلقة؛ بل يُعظَّم عددياً. وتدرّجه أنيق إلى حدّ لافت:

$$\frac{\partial \log\ell}{\partial \beta_0} = \sum_i (y_i - p_i), \qquad \frac{\partial \log\ell}{\partial \beta_1} = \sum_i (y_i - p_i)\,x_i .$$

تدفع كل مشاهدة المعاملات بمقدار يتناسب مع خطأ التنبّؤ الحالي - وهو نمط يعود للظهور في الانتشار العكسي والنزول التدرّجي.

هـ. خطوة تدرّج واحدة، يدوياً

ستّ مشاهدات، غير قابلة للفصل التام عن قصد (والسبب في القسم ز):

لنبدأ من $\beta_0 = \beta_1 = 0$. عندئذ $z_i = 0$ و$p_i = \sigma(0) = 0.5$ لكل مشاهدة، ومن ثم

$$\log\ell = 6\log(0.5) = -4.158883 .$$

مركّبتا التدرّج:

$$\sum_i (y_i - p_i) = (0-0.5)+(1-0.5)+(0-0.5)+(1-0.5)+(1-0.5)+(1-0.5) = 1.0 ,$$ $$\sum_i (y_i - p_i)x_i = -0.5 + 1.0 - 1.5 + 2.0 + 2.5 + 3.0 = 6.5 .$$

وبأخذ خطوة بحجم $\eta = 0.05$ صعوداً (فنحن نُعظّم):

$$\beta_0 \leftarrow 0 + 0.05(1.0) = 0.05, \qquad \beta_1 \leftarrow 0 + 0.05(6.5) = 0.325 .$$

الاحتمالات الجديدة هي $[0.5927, 0.6682, 0.7359, 0.7941, 0.8422, 0.8808]$، وارتفع لوغاريتم الإمكان إلى $-3.162034$. خطوة واحدة حسّنت الملاءمة.

حجم الخطوة ليس بارامتراً حراً. فمع $\eta = 0.5$ تهبط الخطوة نفسها عند $\beta = (0.5, 3.25)$ وينخفض لوغاريتم الإمكان إلى $-14.024$ - أسوأ بكثير من نقطة البداية. تجاوز القمة سهل؛ وكون الخطوة صاعدة محلياً لا يعني أن أي حجم خطوة في ذلك الاتجاه يمثّل تحسّناً.

والتكرار حتى التقارب يعطي

$$\hat\beta_0 = -2.7700, \qquad \hat\beta_1 = 1.1447,$$

بلوغاريتم إمكان قدره $-2.440125$.

تفسير النتيجة. كل وحدة إضافية من $x$ تضرب الأرجحية في $e^{1.14466} = 3.1414$ - أي تقريباً ثلاثة أمثال. وحدّ القرار، حيث $p = 0.5$، هو حيث $z = 0$:

$$x = -\frac{\hat\beta_0}{\hat\beta_1} = \frac{2.7700}{1.14466} = 2.4199 .$$

فدون $x \approx 2.42$ نتنبّأ بالفئة 0، وفوقه بالفئة 1.

كل رقم أعلاه يُعاد إنتاجه بتشغيل هذا الكود.

و. من الاحتمال إلى القرار

يُخرج النموذج احتمالاً؛ أما القرار فيحتاج إلى عتبة. والعتبة الافتراضية $0.5$ صحيحة فقط حين يتساوى ثمن نوعَي الخطأ. فحين تكون السلبية الكاذبة أغلى بكثير من الإيجابية الكاذبة، تكون العتبة الصائبة أدنى - وهذا قرار يتعلّق بالعواقب، لا سؤال إحصائي تستطيع البيانات الإجابة عنه.

ودرس معدّل الأساس من مبرهنة بايز ينطبق هنا بتمامه: فمع فئة إيجابية نادرة، قد يكون النموذج عالي الدقة ومع ذلك مخطئاً في معظم المرات التي يتنبّأ فيها بـ«إيجابي».

ز. حين تنفجر الملاءمة

إذا كانت الفئتان قابلتين للفصل التام - أي توجد عتبة تفصلهما بلا تداخل - أمكن دائماً زيادة الإمكان بتكبير $\beta_1$، ما يدفع الاحتمالات المُلائَمة نحو $0$ و$1$ تماماً. فلا توجد قيمة عظمى، ولا وجود لمقدّر الإمكان الأعظم.

وليس هذا افتراضياً. فباستبدال بياناتنا بالبيانات المفصولة بنظافة $x = (1,2,3,4)$ و$y = (0,0,1,1)$، يعيد حلّالٌ غير منظَّم $\hat\beta_1 \approx 18.2$ مع $\hat\beta_0 \approx -45.8$ - أرقام هي أثر لموضع توقّف المحسِّن، لا تقديرات. وقد ينبّهك البرنامج وقد لا ينبّهك. والعلاج المعياري هو فرض عقوبة على حجم المعاملات، وهو بالضبط موضوع المقالة التالية.

الخلاصات الأساسية

• النموذج الخطي لاحتمال يُنتج قيماً خارج $[0,1]$؛ والدالة اللوجستية تحصر الخرج في $(0,1)$ بحكم البناء.
• الانحدار اللوجستي خطي في لوغاريتم الأرجحية: فـ$\beta_1$ هو تغيّر لوغاريتم الأرجحية لكل وحدة من $X$، و$e^{\beta_1}$ مضاعِف الأرجحية - لا تغيّر في الاحتمال.
• تعظّم الملاءمة لوغاريتم الإمكان، وهو بلا صورة مغلقة ويُحلّ عددياً؛ وتدرّجه $\sum(y_i - p_i)$ و$\sum(y_i - p_i)x_i$.
• تقاربت ملاءمتنا إلى $\hat\beta_0 = -2.7700$ و$\hat\beta_1 = 1.1447$: أرجحية $\times 3.14$ لكل وحدة، وحدّ عند $x = 2.4199$.
• حجم الخطوة مهم - فـ$\eta = 0.05$ حسّنت الملاءمة، و$\eta = 0.5$ أساءت إليها كثيراً.
• تحت الفصل التام لا وجود لمقدّر الإمكان الأعظم وتتباعد المعاملات.

ما التالي

نمطا الإخفاق اللذان رأيناهما للتوّ - معاملات تنفلت تحت الفصل، ونماذج مرنة تطارد الضجيج - يعالجهما مبدأ واحد: أضف عقوبة تجعل المعاملات الكبيرة مكلفة. وذلك هو التنظيم: ريدج ولاسو.