حرّر توزيعين جنبًا إلى جنب واقرأ الإنتروبيا والإنتروبيا التقاطعية وتباعد KL بالبِتّات، مع إبقاء المتطابقة H(p, q) = H(p) + KL(p ‖ q) ظاهرة على الشاشة.
كل القيم بالبِتّات (الأساس 2).
H(p, q) = H(p) + KL(p ‖ q) → 1.7370 = 1.0000 + 0.7370
الحد الأقصى لـ 2 نتائج: 1.0000 بِت
تبلغ الإنتروبيا ذروتها حين تتساوى احتمالات جميع النتائج، وتهبط إلى الصفر متى صارت نتيجة واحدة مؤكدة. والإنتروبيا التقاطعية هي ما يُدرَّب النموذج على تصغيره؛ وهي تنقسم تمامًا إلى إنتروبيا البيانات - التي لا يستطيع أي نموذج إزالتها - زائد تباعد KL، وهو الجزء الناتج عن اعتقاد التوزيع الخاطئ.
يعمل بالكامل داخل متصفّحك. لا يُرفع أي شيء تُدخله ولا يُخزَّن.
قياس اللايقين بالبتّات: إنتروبيا شانون ولماذا اللوغاريتم بالأساس 2، ومكسب المعلومات محلولاً على قسمة، وكيف ترتبط الإنتروبيا المتقاطعة وتباعد كولباك-لايبلر بالإنتروبيا وبدوال الخسارة التي تدرّب المصنِّفات.
كيف تبني القسمة الثنائية العَودية شجرةً، ولماذا يتفوّق دليل جيني على معدّل الخطأ كمعيار للقسمة، وكيف يحوّل التعبئة والغابات العشوائية متعلّماً عالي التباين إلى متعلّم قوي، مع حساب قسمة واحدة كاملاً.