نظرية المعلومات

من ويكيبيديا، الموسوعة الحرة
اذهب إلى: تصفح، ‏ ابحث

نظرية المعلومات Information theory أحد تخصصات وفروع الرياضيات التطبيقية الذي يتضمن تكمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن. قياس المعلومات يعرف عادة بإنتروبية المعلومات وهو عبارة عن العدد الوسطي من البتات اللازم للتخزين أو الاتصال. مثلا، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات لليوم الواحد.

تطبيقات نظرية المعلومات الأساسية تتضمن : ضغط البيانات غير المنقوص lossless data compression : مثلا زيب (صيغة ملفات) ZIP، ضغط البيانات المنقوص Lossy compression مثل إم.بي.ثري MP3، تشفير قنوات نقل البيانات وسعاتها channel capacity مثل خطوط دي.إس.إل DSL. يقع هذا الفرع عند حدود الرياضيات والإحصاء، وعلوم الحاسب والفيزياء والنيوروبيولوجيا والهندسة الكهربائية. تطبيقاتها كانت أساسية ي نجاح مهمات فوياجير الفضائية، واختراع سي.دي CD، وتطبيقات الهاتف المحمول، وتطور الإنترنت. وحتى دراسة اللسانيات والاستشعار الإنساني، وأيضا فهم ظاهرة الثقوب السوداء وغيرها من الحقول والتطبيقات العلمية.

وحدات قياس المعلومات[عدل]

نظرة المعلومات مبنية على نظرية الاحتمالات والإحصاء. أهم وحدات قياس المعلومات هي entropy وهي كم المعلومات الموجود في متغير عشوائي, بالإضافة إلى المعلومات المتبادلة, وهي كمية المعلومات المشتركة بين متغيرين عشوائيين. تحدد الكمية الأولى مدى سهولة ضغط بيانات الرسالة، بينما يمكن استخدام القيمة الثانية لإيجاد معدل الاتصال عبر القناة.

يحدد اختيار قاعدة اللوغاريتم في المعادلة التالية unit information entropy المستخدمة. أكثر وحدات القياس شيوعًا هي النبضة الثنائية (البِت) bit, وهي التي تبنى على اللوغاريتم الثنائي binary logarithm. وتتضمن وحدات القياس الأخرى nat, وهي وحدة قائمة على اللوغاريتم الطبيعي natural logarithm, و hartley, وهي الوحدة القائمة على اللوغاريتم الشائع common logarithm]].

فيما يلي, سوف يتم اعتبار أي صيغة رياضية على الصورة p \log p \, اتفاقًا على أنها تساوي صفرًا p=0. وهذا له ما يبرره نظرًا لأن \lim_{p \rightarrow 0+} p \log p = 0 لأي قاعدة لوغاريتمية.

الإنتروبية[عدل]

الإنتروبية الخاصة بمحاولات بيرنولي Bernoulli trial كدالة في احتمال النجاح, وعادة ما يطلق عليها binary entropy function, H_\mbox{b}(p). تصل الأنتروبية إلى قيمتها القصوى والتي تبلغ 1 نبضة ثنائية (بت) لكل محاولة حين يكون لكل قيمة من قيمتي الخرج المحتملتين نفس القيمة, كما هو الحال عند إلقاء عملة غير منحازة.

وتعتبر entropy, H, الخاصة بمتغير عشوائي غير متصل X مقياسًا لكمية الشك المرتبطة بقيمة X.

لنفرض أن أحد الأشخاص قام بإرسال 1000 نبضة ثنائية (صفر و واحد). إذا كانت هذه النبضات الثنائية معروفة قبل الإرسال (أي معروفة قيمتها بتحديد مطلق)، فإن المنطق يحتِّم أن نقول أنه لم يتم إرسال أية معلومات في هذه الحالة. ولكن، إذا كانت كل نبضة ثنائية مستقلة عن الأخرى وذات احتمال متساوٍ في أن تكون صفر أو واحد، فإننا نقول أنه تم إرسال 1000 نبضة ثنائية (من وجهة نظر نظرية المعلومات). وبين هاتين الحالتين المتباينتين، يمكن تحديد كم المعلومات كما يلي.

إذا كان \mathbb{X} يعبر عن المجموعة التي تضم كل القيم الممكنة التي يمكن أن تأخذها \{x_1, ..., x_n\} that X could be, و كان p(x) هو احتمال قيمة ما تسمى x \in \mathbb X, فإن الإنتروبية ويرمز لها بالرمز, H, of X تعرّف على أنها:[1]

 H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).

وهنا، يرمز الرمز I(x) إلى self-information, وهي مدى إسهام كل رسالة منفصلة في الإنتروبية, ويرمز الرمز \mathbb{E}_{X} إلى القيمة المتوقعة expected value.) أحد الخصائص الهامة للإنتروبية هي أنها تبلغ الحد الأقصى حين تكون كل الرسائل المتاحة في مجال الرسائل متساوية الاحتمال p(x)=1/n,—أي أنها يصعب التنبؤ بها إلى أقصى درجة — وفي هذه الحالة يكون  H(X)=\log n.

الحالة الخاصة لإنتروبية المعلومات التي تمثل متغير عشوائي ثنائي هي binary entropy function, وهي عادة ما تكون محسوبة بالنسبة لأساس اللوغاريتم 2:

H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).\,

ومن المهم أن نلاحظ هنا أن قيمة الإنتروبية (كما هو موضح في الشكل، تكون صفرًا عندما تكون قيمة المتغير العشوائي معروفة بدون أدنى شك. وهو ما يناظر الحالة التي تكون فيها p=1 أو p=0 إذ أن المتغير لا يحمل أي معلومات في هذه الحالة. ولكي نفهم ذلك، فكِّر في كم المعلومات التي تحصل عليها عندما يخبرك أحد الأشخاص بحقيقة كونية ثابتة، مثل: "الشمس تشرق من الشرق". إذ أن احتمال حدوث ذلك هو احتمال مؤكد وبالتالي لا تحصل على أي معلومة. وسوف يأتي الحديث إلى مسألة "ضغط البيانات" والتي نحاول فيها الوصول إلى أقل حجم لتمثيل بيانات عشوائية. وسوف نعرف حينئذ أن قيمة الإنتروبية هي أقل قيمة يمكن تمثيل المتغير العشوائي بها. في المثال الموجود أعلاه، والذي يفترض إرسال 1000 نبضة ثنائية من متغير عشوائي، وبفرض أن يأخذ المتغير العشوائي قيمة "1" هي 0.1 فإن الشكل يبين أن قيمة الإنتروبية حوالي 0.5 نبضة ثنائية (بِت). وبالتالي فإن نظرية المعلومات تخبرنا أن 1000 نبضة ثنائية مولّدة من هذا المتغير يمكن التعبير عنها بـ 500 نبضة فقط. وهذا العلم هو الذي يعرف باسم "ترميز المصدر" (Source Coding) أي اختيار أنسب مجموعة من الرموز يمكنها تمثيل مخرجات المتغير العشوائي/المصدر بأقل قدر من النبضات الثنائية.

الإنتروبية المشتركة[عدل]

تعبِّر الإنتروبية المشتركة لمتغيرين عشوائيين متقطعين X وY عن الإنتروبية الخاصة بهما معًا عندما يكونان زوجًا: (X, Y). ويعني هذا ضمنيًا أنه إذا كان المتغيران X وY مستقلان إحصائيًا أي independent, فإن الإنتروبية المشتركة لهما لن تعدو أن تكون مجموع إنتروبية كل منهما. ولكن القيمة الحقيقية للإنتروبية المشتركة تظهر في حالة المتغيرات العشوائية المترابطة. فعلى سبيل المثال، إذا كان المتغيران X وY يعبران عن درجة الحرارة في مكانٍ ما ومعدل الإصابة بضربات الشمس في نفس المكان، فإننا نتوقع أن يكون المتغيران مرتبطان، وبالتالي فإن مقياس كم المعلومات الموجود فيهما معًا (الإنتروبية المشتركة) يكون أقل من مجموعهما، نظرًا لأن هناك جزء من المعلومات التي نتعلمها من المتغير العشوائي الأول يمكن أن تفيدنا في معرفة شيئ ما عن المتغير العشوائي الثاني والعكس بالعكس.

مثال آخر، إذا كان (X,Y) يمثلان موقع قطعة شطرنج — حيث يمثل X الصف ويمثل Y العمود، فإن الإنتروبية المشتركة للإثنين معًا هي الإنتروبية التي تعبر عن مكان القطعة على لوحة الشطرنج. وبتطبيق نفس تعريف الإنتروبية على احتمالات المتغيرين العشوائيين معًا فإن الإنتروبية المشتركة يمكن حسابها من العلاقة:

H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,

وعلى الرغم من تشابه الرمز المعبر عن الإنتروبية المشتركة مع الرمز المعبِّر عن , الإنتروبية المتقاطعة cross entropy إلا أنه ينبغي ألا نخلط بينهما.

وقبل أن نستكمل الحديث عن كميات قياس المعلومات، لابد من التنويه عن أن الترابط بين متغيرين عشوائيين يجعل الإنتروبية المشتركة لهما أقل من مجموع الإنتروبية الخاصة بكلٍ منهما على حدة. إذ كلما زاد الترابط بين المتغيرين كانت معرفة أحدهما تُغنى عن معرفة الآخر

انظر أيضا[عدل]

تطبيقات[عدل]

التاريخ[عدل]

النظرية[عدل]

مصطلحات[عدل]

مراجع[عدل]

  1. ^ Fazlollah M. Reza (1961, 1994). An Introduction to Information Theory. Dover Publications, Inc., New York. ISBN 0-486-68210-2. 

وصلات خارجية[عدل]

تحرير الحقول الفرعية و العلماء البارزين في مجال السِبرانتية
مستوى أول تعددية السياق Polycontexturality ، سبرانية الرتبة الثانية
مستوى ثان نظرية الكوارث, الإتصالية, نظرية التحكم, نظرية القرار, نظرية المعلومات, سيميوتيك, سينيرجيتيك, نظرية الأنظمة
مستوى ثالث سبرانية بيولوجية, سبرانية طبية حيوية, روبوتات حيوية, علوم عصبية حاسوبية, استتباب, سبرانية طبية, سبرانية عصبية, سبرانيات اجتماعية
علماء السبرانية ويليام روس أشبي, كلاود بيرنارد, فالينتين برايتنبيرغ, لودفيغ فون بيردالاندفي, جورج كاندي, جوزيف ج. ديستيفانو الثالث, هاينز فون فورستر, تشارلز فرانسوا, جاي فوريستير, ارنست فون غلاسيرسفيرد, فراسيس هيليغين, إيريش فون هولست, Stuart Kauffman, نيكيلاس لومان, فارين مككولوش, Humberto Maturana, Horst Mittelstaedt, Talcott Parsons, Walter Pitts, Alfred Radcliffe-Brown, Robert Trappl, Valentin Turchin, Francisco Varela, Frederic Vester, John N. Warfield, كيفن وارويك, نوربيرت فينر