ترميز بالاعتلاج

  هذه المقالة عن ترميز إنتروبي. لمعانٍ أخرى، طالع إنتروبي_(نظرية_المعلومات).

في نظرية المعلومات الترميز الإنتروبي بالإنجليزية (Entropy Encoding) هو مخطط ضغظ غير منقوص للبيانات والذي يعتمد على محدد لوغاريتمي للمنتصف.

أحد الأنماط الرئيسة في الترميز الإنتروبي هي بإنشاء وتعيين «ترميز بادئة حر وفريد» لكل رمز فريد مدخل، هذه الرموز تشكل ترميز كلمة كخرج ل «متحول طول البادئة الحرة».

المبدأ

طول كل ترميز كلمة تأخد متوسط إحتمالي قريب للوغارتم السالب لإحتمال ترميزها ولذلك الرمز الأكثر تكرارا سيأخذ الترميز الأقصر.

طبقا لترميز شانون، طول الترميز الأمثل لرمز يعطى بالعلاقة $-\log _{b}P$ حيث b عدد الرموز المستخدمة في الخرج و P الاحتمال لرموز الدخل.

الطرق الأكثر شيوعا لتقنيات الترميز الإنتروبي هي ترميز هوفمان والترميز الحسابي. في حال كان المتوسط اللوغاريتمي لإنتروبيا تيار بيانات الدخل معلوم مسبقا كما هو الحال في ضغط الإشارات، مرمز ستاتيكي بسيط قد يكون مفيدا للغاية. في حال إعتبار المرمز الستاتيكي مكون من مرمز عالمي موحد مثل (ترميز فيبوناتشي أو ترميز إلسا غاما) وترميز غولومب مثل (ترميز الارز أو ترميز أحُادي).

اعتبارا من 2014، تم البدء بضغط البيانات استعانة بعائلة أنظمة الارقام اللامتماثلة في تقنيات الضغظ الانتروبي، والذي سمح بدمج: نسبة ضغط الضغط الحسابي مع تكلفة معالجة ترميز هوفمان

الإنتروبيا كمقياس للتشابه

إلى جانب استعمال الترميز الإنتروبي كوسيلة ضغط البيانات الرقمية، يمكن استخدام مرمز إنتروبي لقياس كمية التشابه بين تيار بيانات موجود مسبقا في صفوف البيانات، وذلك عن طريق توليد «ضاغط / مرمز إنتروبي» لكل صف من البيانات.

البيانات غير المعروفة تصنف إحصائيا عن طريق تغذية هذه الملفات غير المضغوطة لكل ضاغط إنتروبي وتقدير نتائج الضغط للحصول على النسبة الأعلى، فيكون المرمز ذو النسبة الأفضل الأعلى إحتماليا لأن يكون المرمز الذي تدرب على البيانات الأكثر شبها للبيانات غير المعروفة.

انظر أيضًا

• ترميز هوفمان
• إنتروبيا

روابط خارجية

• Information Theory, Inference, and Learning Algorithms, by David MacKay (2003), gives an introduction to Shannon theory and data compression, including the Huffman coding and arithmetic coding.
• Source Coding, by T. Wiegand and H. Schwarz (2011).