الإنتروبيا

تقيس الإنتروبيا مقدار ما تجهله عن نتيجة متغيّر عشوائي. فإن كان المتغيّر يأخذ القيمة نفسها دائماً، لم يخبرك رصدُه بشيء وكانت إنتروبيته صفراً. وكلما توزّع الاحتمال بتساوٍ أكبر على النتائج الممكنة، ازداد اللايقين وارتفعت الإنتروبيا.

وتصير الوحدات ملموسة باللوغاريتم ذي الأساس 2: فالإنتروبيا تعدّ بتّات. ويجعل راسل ونورفيغ المعايرة صريحة. فالعملة المتوازنة متساوية الترجيح في الوجهين، وذلك يساوي بتاً واحداً بالضبط. والنرد الرباعي المتوازن بتّان، لأن بتّين لازمان لوصف واحد من أربعة خيارات متساوية الترجيح. أما العملة غير العادلة التي تسقط على صورة 99٪ من الوقت فتحمل لايقيناً أقل بكثير، وينبغي أن تكون إنتروبيتها قريبة من الصفر مع بقائها موجبة.

ويرجّح التعريفُ مفاجأةَ كل نتيجة، −log₂ p، بمدى تكرار حدوثها فعلاً. فالأحداث النادرة مفاجئة جداً منفردةً لكنها تسهم قليلاً لأنها نادرة الوقوع؛ والأحداث الشائعة غير مفاجئة لكنها متكرّرة. والإنتروبيا متوسط هذه المفاجأة، ولهذا تبلغ ذروتها عند التوزيع المنتظم، حيث لا يمكن توقّع أي نتيجة.

وليس هذا مجرّد استعارة عن المعلومات. فمبرهنة ترميز المصدر لشانون تجعل الإنتروبيا حدّاً صارماً: إذ لا يمكن لأي ترميز بلا فقد لمصدر أن يستخدم في المتوسط بتّات لكل رمز أقل من إنتروبيا ذلك المصدر. وتعود الكمية نفسها للظهور في أنحاء تعلّم الآلة، في مكسب المعلومات الذي يقسم أشجار القرار، وفي خسارة الإنتروبيا المتقاطعة، وفي تباعد KL بين التوزيعات.

للعملة المتوازنة p = 0.5 لكل وجه، فتعطي H = −(0.5 log₂ 0.5 + 0.5 log₂ 0.5) = 1 بت بالضبط. وللنرد الرباعي المتوازن أربع نتائج عند p = 0.25، فتعطي H = 2 بت، بما يطابق حدس أن رقمين ثنائيين يحدّدان واحداً من أربعة خيارات.

وخذ الآن العملة المنحازة التي تسقط على صورة 99٪ من الوقت. حساب −(0.99 log₂ 0.99 + 0.01 log₂ 0.01) يعطي نحو 0.0808 بت: قريباً من الصفر كما هو متوقّع، لكنه موجب تماماً، لأن الذيل النادر ما زال يحمل مفاجأة حقيقية حين يقع.

والقراءة الضغطية مباشرة. فمتتالية طويلة من رميات العملة المنحازة يمكن ترميزها بنحو 0.081 بت لكل رمية في المتوسط، أي توفير يفوق عشرة أضعاف مقابل البت لكل رمية الذي سينفقه ترميز ساذج، لأن المتتالية «صورة» في معظمها الساحق ويمكن استثمار تلك الانتظامية.