اكتساب المعلومات (شجرة القرار)

في نظرية المعلومات والتعلم الآلي، يعبر اكتساب المعلومات عن مقدار المعلومات المكتسبة حول متغير عشوائي أو إشارة معينة من وجهة نظر متغير عشوائي آخر. ويستخدم اكتساب المعلومات مع أشجار القرار في بعض الأحيان بشكل مترادف مع المعلومات المتبادلة.

نقاط الضعف

على الرغم من أن اكتساب المعلومات يعد عادةً مقياسًا جيدًا لتحديد مدى أهمية السمة (attribute)، إلا أنه ليس مثاليًا. تحدث مشكلة ملحوظة عند تطبيقه على السمات التي يمكن أن تأخذ على عدد كبير من القيم المتميزة. على سبيل المثال، افترض أن المرء يقوم ببناء شجرة قرار لبعض البيانات التي تصف عملاء شركة ما. غالبًا ما يستخدم كسب المعلومات لتحديد السمات الأكثر ملاءمة، والتي يمكن اختبارها بالقرب من جذر الشجرة. لكن قد تكون إحدى سمات الإدخال هي رقم بطاقة ائتمان العميل. تحتوي هذه السمة على معلومات متبادلة عالية (mutual information)، لأنها تحدد هوية كل عميل بشكل فريد، لكننا لا نريد تضمينها في شجرة القرارات لأنه من غير المرجح أن يعمم تحديد كيفية التعامل مع العميل استنادًا إلى رقم بطاقة الائتمان الخاصة به والذي سيولد مشكلة مع العملاء الذين لم يتعرف عليهم النظام حتى الآن، وتحديداً مشكلة الإحكام المفرط.

لمواجهة هذه المشكلة، اقترح روس كوينلان اختيار السمة ذات اكتساب المعلومات الأعلى من بين السمات التي يكون متوسط اكتسابها للمعلومات أو أعلى. يؤدي هذا إلى تحيز شجرة القرار ضد النظر في السمات التي تحتوي على عدد كبير من القيم المتميزة، مع عدم منح ميزة بشكل غير عادل للسمات ذات قيمة المعلومات المنخفضة، حيث أن قيمة المعلومات تكون أعلى أو مساوية لكسب المعلومات.