يرجى مراجعة هذه المقالة وإزالة وسم المقالات غير المراجعة، ووسمها بوسوم الصيانة المناسبة.

إنتروبيا شرطية

من ويكيبيديا، الموسوعة الحرة
اذهب إلى التنقل اذهب إلى البحث
N write.svg
هذه مقالة غير مراجعة. ينبغي أن يزال هذا القالب بعد أن يراجعها محرر عدا الذي أنشأها؛ إذا لزم الأمر فيجب أن توسم المقالة بقوالب الصيانة المناسبة. (أغسطس 2020)

في نظرية المعلومات ، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي بالنظر إلى أن قيمة متغير عشوائي آخر معروف. هنا، يتم قياس المعلومات في شانون ، ناتس ، أو hartleys . انتروبيا مشروطة مكتوب مثل .

تعريف[عدل]

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة و . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة . الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية ، مع انتروبيا الحمراء إنتروبيا مشروطة . الدائرة على اليمين (الأزرق والبنفسجي) ، مع المجال الأزرق . البنفسج هو المعلومات المتبادلة .

الانتروبيا الشرطية بفرض يعرف بـ

 

 

 

 

(Eq.1)

حيث و تدل على مجموعات الدعم و .

ملاحظة: من المعتاد أن تكون التعابير و للإصلاح يجب أن تعامل على أنها تساوي الصفر. هذا بسبب و [1]

شرح بديهي للتعريف : حسب التعريف ، حيث . مرتبطة بـ محتوى المعلومات بفرض وهو مقدار المعلومات اللازمة لوصف الحدث بفرض . وفقا لقانون الأعداد الكبيرة، هي المغنى الحسابي لعدد كبير من التحويلات المستقلة .

انظر أيضًا[عدل]

المراجع[عدل]

  1. ^ "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. مؤرشف من الأصل في 07 يناير 2020. اطلع عليه بتاريخ 25 أكتوبر 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)