تخطّي إلى المحتوى
Kudos AI

موسومة بـ “entropy”

2 مقالات.

قراءة 5 دقيقةInformation Theory

الحدّ الذي يُبلَغ فعلاً

العشوائية المعلوماتية ليست ملخّصاً لتوزيع بل أرضية يبلغها أفضل ترميز إلى آخر منزلة عشرية، والزيادة المدفوعة ثمناً للتوزيع الخاطئ هي بالضبط الخسارة التي يصغّرها كلّ مصنّف أصلاً، والمعلومة المتبادلة تضع سقفاً صلباً على كلّ ما يلي المستشعر. ثلاث نتائج، كلّ واحدة أحدّ من المعتاد.

الرياضياتتعلّم الآلة
قراءة 8 دقيقةأسس الاحتمالات

الإنتروبيا والمعلومات

قياس اللايقين بالبتّات: إنتروبيا شانون ولماذا اللوغاريتم بالأساس 2، ومكسب المعلومات محلولاً على قسمة، وكيف ترتبط الإنتروبيا المتقاطعة وتباعد كولباك-لايبلر بالإنتروبيا وبدوال الخسارة التي تدرّب المصنِّفات.

نظرية المعلوماتالاحتمالاتالرياضيات