هذه المقالة يتيمة. ساعد بإضافة وصلة إليها في مقالة متعلقة بها
يرجى مراجعة هذه المقالة وإزالة وسم المقالات غير المراجعة، ووسمها بوسوم الصيانة المناسبة.

قرارات عملية ماركوف

من ويكيبيديا، الموسوعة الحرة
اذهب إلى التنقل اذهب إلى البحث
N write.svg
هذه مقالة غير مراجعة. ينبغي أن يزال هذا القالب بعد أن يراجعها محرر ما عدا الذي أنشأها؛ إذا لزم الأمر فيجب أن توسم المقالة بقوالب الصيانة المناسبة. (يناير 2015)

عملية ماركوف (بالإنجليزية: Markov decision process)هو نموذج مؤشر ستوكاستيك الذي يحتوي على خاصية ماركوف. ويمكن استخدامه في تصميم نموذج لنظام عشوائي الذي يتغير الدول وفقا لقاعدة التحول الذي يعتمد فقط على الحالة الراهنة. تستخدم عمليات ماركوف في تشخيص الأمراض وقرارات العلاج الطبي بشكل عام حيث أنه يعتبر استخدامه ضروري في حاله اتخاذ قرار يتضمن خطر مع مرور الوقت مثل زراعة الكبد والكلي. بشكل خاص، يحتاج مؤشر المعلمة الدولة الفضاء والوقت النظام على أن تكون محددة. ويوجد حالات مختلفة من عمليات ماركوف لمستويات مختلفة من الحالات عموما و للزمن المتقطع مقابل الزمن المتواصل.

تعريفه[عدل]

صناعة قرارات ماركوف هي طريقة لتحليل السلوك الحالى لمتغير معين وذلك لأغراض التنبوء بالسلوك المستقبلى لهذا المتغير المعين ، وتنسب سلاسل ماركوف إلى اسم مكتشفها أندريا ماركوف " العالم الروسى الذى ولد عام 1856م وتوفى عام 1922م " ، وتعتبر سلاسل ماركوف أحد أدوات "البرمجة الديناميكية" التى تعد أحد أساليب بحوث العمليات. ويهتم أسلوب ماركوف بدراسة عملية إتخاذ القرارات حيث يتعامل مع احتمالات حدوث حدث معيّن في المستقبل مستنداً إلى تحليل بعض الاحتمالات، أي أنه أسلوب علميّ لدراسة وتحليل ظاهرة الفترة الحالية من أجل التنبؤ بسلوكها في المستقبل. وهناك بعض التعاريف الأخرى لهذه السلسلة :

  1. هي إحدى أدوات بحوث العمليات تبحث في تحليل الاتجاهات الحالية لبعض المتغيرات للتنبؤ باتجاهاتها في المستقبل.
  2. هي عملية عشوائية تحمل خاصية ماركوفية , أي التكهن بالمستقبل إنطلاقا من الحاضر دون الحاجة إلى معرفة الماضي.

أنواع سلاسل ماركوف[عدل]

  1. سلاسل ماركوف- متقطعة الزمن: إذا تمت ملاحظة نظام ما في فترات منتظمة مثلا يوميا أو أسبوعيا , عندئذ يمكن توصيف إجراء التخمين العشوائي الحركي بواسطة مصفوفة تمثل إحتمالات التحرك إلى كل حالة من الحالات الأخرى في فترة زمنية واحدة , بفرض أن هذه المصفوفة لا تتغير بمرور الزمن , فان هذا الإجراء يدل على أن سلسلة ماركوف متقطعة الزمن تتوافر فيها تقنيات حسابية لحساب مجموعة مختلفة من قياسات النظام التي يمكن إستخدامها في تحليل و تقييم نموذج سلاسل زمن ماركوف المتقطعة.
  1. سلاسل ماركوف- مستمرة الزمن: تعرف هذه السلاسل في إجراءات التخمين العشوائي الحركي ذات الزمن المستمر حيث تتوزع مدة كل حالة متغيرة على الشكل الأسي , و يكون الزمن معاملا مستمراً , يحقق الإجراء شرط ماركوف (الذى يعني أن الطريق الذي يسلكه الإجراء في المستقبل يعتمد فقط على الحالة القائمة , و ليس على سلسلة الحالات التي حدثت قبل الحالة الحالية). وتعرف هذه السلسلة بسلسلة ماركوف مستمرة الزمن , و توصف بمصفوفة تمثل معدل الانتقال من كل حالة إلى كافة الحالات الأخرى .

وتعتمد عمليات ماركوف على فرض ثبات إحتمالات تحول الحالة من فترة زمنية إلى فترة زمنية أخرى وعلى وجود فترات زمنية متساوية يتم حساب التحول بينها ، ويمكن أن يكون عدد حالات التحول محدوداً وهو ما يعرف بسلاسل ماركوف أو مستمر (غير محدود) وهو ما يعرف بعمليات ماركوف المستمرة.

فروض تحليل قرارات ماركوف[عدل]

يستند تحليل قرارات ماركوف إلى أربعة افتراضات أساسية:

  1. أن هناك عدد محدود ونهائي من المواقف الممكنة.
  2. أن احتمالات تغير الموقف من وقت لآخر تظل كما هي ثابتة دون تغيير.
  3. أنه يمكننا التنبؤ بأي موقف في المستقبل من خلال مصفوفة التغير و معرفة الموقف الحالي.
  4. أن الحالة التالية للموقف تعتمد على الحالة السابقة لها مباشرة دون الاعتماد على ما قبل ذلك.

أهم الأسياسيات الرياضية المتعلقة بسلاسل ماركوف مستمرة الزمن[عدل]

تعريفها[عدل]

  • عملية قرار ماركوف تعتمد علي 5-الصفوف(tuple-5) (ϒ, R(.,.) ,P(.,.) , A , S ).
  • S هي مجموعة محدودة من الدوال.
  • A هي مجموعة محدودة من الدوال،( As هو مجموعة محدودة من الإجراءات المتاحة خلال S ).
  • هو احتمالية حدوث a في s في وقت t وهذا يؤدي الي Ś عند وقت t+1 .
  • حيث أن Ra هو الناتج المتوقع من الانتقال من S الي Ś .
  • [0,1] (γ (discount factor عامل متقطّع , وهو يمثّل الفرق في الأهمية بين النواتج المستقبلية و الحالية.

المشكلة الأساسية من قرارات عملية ماركوف هي الغثور علي السياسة لصانع القرار، وهي تهدف إلى اختيار السياسة التي تقوم بتعظيم بعض الدوال التراكمية للحالات العشوائية. ويمكن لقرارات عملية ماركوف أن تحل من خلال البرمجة الخطية والبرمجة الديناميكية.:)

مراجع[عدل]

  • R. Bellman. A Markovian Decision Process . Journal of Mathematics and Mechanics 6, 1957
  • X. Guo and O. Hernández-Lerma. Continuous-Time Markov Decision Processes, Springer, 2009.