تباعد كولباك - ليبلير: الفرق بين النسختين
| [نسخة منشورة] | [نسخة منشورة] |
ط تحديث (تعلم الآلة) |
ط v2.03b - باستخدام ويكيبيديا:فو (مرجع قبل علامة الترقيم) |
||
| سطر 1: | سطر 1: | ||
{{نظرية المعلومات}} |
{{نظرية المعلومات}} |
||
في [[إحصاء رياضي|الاحصاء الرياضي]] ، فإن '''تباعد''' '''كولباك - ليبلير''' (وتسمى أيضا '''الانتروبية النسبية)''' {{إنج|Kullback–Leibler divergence}} هو مقياس لمدى اختلاف [[توزيع احتمال|توزيع احتمالي]] واحد عن توزيع احتمالي مرجعي آخر<ref>{{استشهاد بدورية محكمة|الأخير=Kullback|الأول=S.|الأخير2=Leibler|الأول2=R.A.|سنة=1951|عنوان=On information and sufficiency|صحيفة=[[Annals of Mathematical Statistics]]|المجلد=22|العدد=1|صفحات=79–86|DOI=10.1214/aoms/1177729694|mr=39968}}</ref><ref name="Kullback">{{استشهاد|الأخير=Kullback|الأول=S.|عنوان=Information Theory and Statistics|تاريخ=1959|ناشر={{Ill-WD2|جون وايلي وأولاده|id=Q1479654|target=fr}}}}. Republished by [[Dover Publications]] in 1968; reprinted in 1978: {{ردمك|0-8446-5625-9}}.</ref> |
في [[إحصاء رياضي|الاحصاء الرياضي]] ، فإن '''تباعد''' '''كولباك - ليبلير''' (وتسمى أيضا '''الانتروبية النسبية)''' {{إنج|Kullback–Leibler divergence}} هو مقياس لمدى اختلاف [[توزيع احتمال|توزيع احتمالي]] واحد عن توزيع احتمالي مرجعي آخر.<ref>{{استشهاد بدورية محكمة|الأخير=Kullback|الأول=S.|الأخير2=Leibler|الأول2=R.A.|سنة=1951|عنوان=On information and sufficiency|صحيفة=[[Annals of Mathematical Statistics]]|المجلد=22|العدد=1|صفحات=79–86|DOI=10.1214/aoms/1177729694|mr=39968}}</ref><ref name="Kullback">{{استشهاد|الأخير=Kullback|الأول=S.|عنوان=Information Theory and Statistics|تاريخ=1959|ناشر={{Ill-WD2|جون وايلي وأولاده|id=Q1479654|target=fr}}}}. Republished by [[Dover Publications]] in 1968; reprinted in 1978: {{ردمك|0-8446-5625-9}}.</ref> تتضمن تطبيقات تباعد كولباك - ليبلير توصيف [[اعتلاج (معلومات)|'''اعتلاج شانون''' (Shannon)]] '''النسبي''' في نظم المعلومات، '''والعشوائية''' في [[متسلسلة زمنية|السلاسل الزمنية]] المستمرة، '''واكتساب المعلومات''' عند مقارنة النماذج الإحصائية [[استدلال (بحث علمي)|للاستدلال]]. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس ''غير'' متساوي من حيث التوزيع وبالتالي فهو غير مؤهل ''كمقياس'' إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، [[ميكانيكا الموائع]]، [[علوم عصبية|علم الأعصاب]] [[تعلم الآلة|والتعلم الآلي]] . |
||
== أصل الكلمة == |
== أصل الكلمة == |
||
نسخة 08:53، 12 سبتمبر 2020
| نظرية المعلومات |
|---|
 |
في الاحصاء الرياضي ، فإن تباعد كولباك - ليبلير (وتسمى أيضا الانتروبية النسبية) (بالإنجليزية: Kullback–Leibler divergence) هو مقياس لمدى اختلاف توزيع احتمالي واحد عن توزيع احتمالي مرجعي آخر.[1][2] تتضمن تطبيقات تباعد كولباك - ليبلير توصيف اعتلاج شانون (Shannon) النسبي في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة، واكتساب المعلومات عند مقارنة النماذج الإحصائية للاستدلال. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس غير متساوي من حيث التوزيع وبالتالي فهو غير مؤهل كمقياس إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، ميكانيكا الموائع، علم الأعصاب والتعلم الآلي .
أصل الكلمة
تم تقديم تباعد كولباك - ليبلير بواسطة سولومون كولباك (Solomon Kullback) وريتشارد ليبلير (Richard Leibler) في عام 1951 باعتباره اختلافاً موجهاً بين توزيعتين؛ يفضل كولباك مصطلح معلومات التمييز.[3] وقد تمت مناقشة الاختلاف في كتاب كولباك لعام 1959 ، نظرية المعلومات والإحصاء .[2]
مراجع
- ^ Kullback، S.؛ Leibler، R.A. (1951). "On information and sufficiency". Annals of Mathematical Statistics. ج. 22 ع. 1: 79–86. DOI:10.1214/aoms/1177729694. MR:0039968.
- ^ أ ب Kullback، S. (1959)، Information Theory and Statistics، جون وايلي وأولاده [الفرنسية]
{{استشهاد}}: صيانة الاستشهاد: علامات ترقيم زائدة (link). Republished by Dover Publications in 1968; reprinted in 1978: (ردمك 0-8446-5625-9). - ^ Kullback، S. (1987). "Letter to the Editor: The Kullback–Leibler distance". ذا أمريكان ستاتيستيشين. ج. 41 ع. 4: 340–341. DOI:10.1080/00031305.1987.10475510. JSTOR:2684769.
 | هذه بذرة مقالة عن الديناميكا الحرارية بحاجة للتوسيع. فضلًا شارك في تحريرها. |