الحيرة

تُحاسِب الإنتروبيا المتقاطعة النموذجَ باللوغاريتم السالب للاحتمال الذي أسنده إلى ما وقع فعلًا، متوسّطًا على المتتالية. والعدد بالنات أو بالبت، ويصعب الإحساس به. وأخذ أُسّه يُنتج عدًّا: فالنموذج الذي إنتروبيته المتقاطعة كإنتروبيا اختيار منتظم بين خمسين خيارًا حيرته خمسون، أيًّا كانت المفردات الحقيقيّة. والأدنى أفضل، والواحد تنبّؤ تامّ.

والحالة المنتظمة تمنح المقياس نقطة ثابتة. فالنموذج الذي لا تفضيل له يُسند 1/V لكلّ خيار، ويدفع log V، وتكون حيرته V بالضبط. وهذا يجعل خسارة نموذج غير مدرَّب قابلة للحساب سلفًا، ويجعل العدد تشخيصًا مجّانيًّا: فالنموذج الجديد الذي يُبلغ عن أدنى بكثير من log V قد رأى ما لم يكن ينبغي أن يراه، والذي يُبلغ عن أعلى بكثير فيه خلل في خسارته أو في ترميزه.

والمقارنات تحتاج إلى حذر. فالحيرة تتوقّف على الترميز بقدر ما تتوقّف على النموذج، لأنّ مفردات تقسّم الكلمات إلى قطع أكثر تنشر النصّ نفسه على تنبّؤات أكثر وأسهل. ولا يُقارَن نموذجان بالحيرة إلّا على النصّ نفسه وبالمرمِّز نفسه، ولهذا تسافر الأرقام المنشورة مع اسم مجموعة بيانات.

وما لا تقيسه جدير بأن يُقال صراحةً. فالحيرة تكافئ إسناد الاحتمال إلى التتمّة المشاهَدة. وقد يكون النموذج سَلِسًا وواثقًا ومخطئًا، ولا شيء في حيرة منخفضة يميّز تلك الحالة من نموذج مصيب.

لمفردات قدرها 50,257 رمزًا يكون المرجع المنتظم log 50,257 = 10.8249 نات. والنموذج غير المدرَّب المقيس عند 10.7940 على ستّ وحدات يقع 0.03 دونه، أي حيرة قدرها 48,725.8، أو 96.95 في المئة من المفردات ما زالت في اللعب. وعلى المحمّلين الكاملين يبلّغ النموذج غير المدرَّب نفسه عن 10.9876، أي أعلى قليلًا من المرجع، لأنّ اللوجتات العشوائية ليست منتظمة تمامًا: فـlog V نقطة مرجع لا حدّ.

وتلك النسبة هي القراءة الجديرة بالحفظ. فهي تقول إنّ النموذج يختار على نحو شبه منتظم، وهو ما ينبغي لنموذج غير مدرَّب، وتقوله في صورة تنتقل: فنصف المفردات في اللعب يُقرأ كما هو عند ألف رمز وعند خمسين ألفًا، حيث تختلف الخسارتان الخامّتان بنحو أربع نات ولا تعني أيٌّ منهما شيئًا وحدها.

وفي الطرف الآخر تقابل الحيرة 1 خسارةً قدرها 0، وتعني أنّ النموذج أعطى احتمال 1 لكلّ رمز وقع. وعلى نصّ محجوز يكون ذلك علامة تسرّب لا علامة نموذج جيّد.