A Mathematical Theory of Communication

ملخّص

يعرّف المعلومات تعريفاً كمّياً، ويقدّم الإنتروبيا مقياساً للايقين المصدر، ويبرهن حدوداً على الضغط بلا فقد وعلى الإرسال الموثوق عبر قناة مشوّشة.

لماذا تهمّ

أسّس نظرية المعلومات تأسيساً كاملاً. والإنتروبيا، المعرَّفة هنا، هي اليوم الوحدة التي يُقاس بها اللايقين عبر الإحصاء وتعلّم الآلة: فهي ما يخفضه مكسب المعلومات حين تنقسم شجرة قرار، وما تعمّمه الإنتروبيا المتقاطعة حين يُقيَّم توزيع النموذج المتنبَّأ به مقابل الواقع.