نموذج الهيكلة والتجميع

من ويكيبيديا، الموسوعة الحرة

نموذج الهيكلة والتجميع (بالإنجليزية: نموذج الهيكلة والتجميع) هو نموذج برمجي، طورته شركة جوجل لإجراء عمليات حسابية بشكل متزامن على كمية كبيرة جداً من البيانات (عدة بيتابايت[1]), وتتم هذه العمليات على عدة حواسيب تسمى بالعناقيد الحاسوبية. كما يطلق اسم MapReduce على اسم المكتبة البرمجية لهذا النموذج وليس فقط على النموذج نفسه. باستخدام طريقة الهيكلة والتجميع سيتم معالجة البيانات على ثلاثة مراحل (التجزئة، الخلط، التجميع) وبالانجليزية على التوالي (Map, shuttle ,reduce), اثنتان منهم تتم من قِبَل المستخدم وهما التجزئة والتجميع. -- وبالتالي يمكن إجراء العمليات الحسابية على عدة حواسيب وفي الوقت نفسه، أي بشكل متواز. تكمن أهمية هذه التقنية في الدور الذي تلعبه في توزيع العمليات على عدة حساب وإجرائها بشكل متزامن، ومن ثم جمع النتائج في المرحلة الثانية (الخلط). بصورة أوضح يمكننا القول أننا نقسم المشكلة الكبيرة إلى عدة أجزاء ونحل كل جزء منها على حدا ومن ثم نجمع هذه الحلول مع بعضها لتشكل في النهاية الحل للمشكلة الكبيرة. فكرة هذا النموذج مستوحاة من الدوال Map و Reduce, اللذان يستخدمان بكثرة في البرمجة الوظيفية.[2]

في عام 2010 تم منح براءة اختراع أمريكية على هذه التقنية.[3]

طريقة العمل[عدل]

MapReduce
Zwischen Ergebnisse: نتائج غير نهائية

الصورة (MapReduce) توضح كيفية حساب البيانات في تقنية الهيكلة والتجميع وهي كالتالي:

  • في البداية لدينا البيانات (D,A,T,A) المُراد حسابها، ويتم توزيع هذه البيانات على مجموعة من عمليات الهيكلة Map, وكل عملية تقوم بوظيفة معينة يتم تحديدها من قِبَل المستخدم.
  • يتم تنفيذ هذه العمليات بشكل متوازي.
  • كل عملية من هذه العمليات تقوم بطرح مخرجاتها الأولية (هذه المخرجات ممثلة باللون الزهري), مع العلم أن العملية الواحدة يمكنها توزيع مخرجاتها على أكثر من مكان تخزين.
  • هنا نأتي إلى مرحلة الخلط، حيث يتم خلط هذه البيانات مع بعضها البعض، وهنا أيضاً يتم تبادل البيانات كثيرًا بين الأجهزة (الأماكن التي تتواجد فيها النتائج الأولية).
  • عندما تنتهي مرحلة الخلط فإنه يمكننا القول أنها بداية مرحلة التجميع Reduce (باللون الأزرق).
  • يتم هنا إجراء عملية تجميع واحدة لكل مكان تخزين (اللون الزهري) وتتم أيضاً هذه العمليات بشكل متواز، ومن ثم تطرح كل عملية من هذه العمليات مخرجاتها على حدا، وهي (X,Y,Z).

تعريف اقتران الهيكلة والتجميع[عدل]

يقوم اقتران الهيكلة والتجميع بتحويل قائمة من المدخلات إلى قائمة من المخرجات، وكل قائمة-المدخلات والمخرجات- تتكون من قيم ومفتاح لكل قيمة، كما هو الحال في دوال التجزئة أو ال دالة تجزئة.

شرح اقتران الهيكلة والتجميع[عدل]

  • المجموعات و تحوي على المفاتيح، بينما تحوي المجموعات و على القيم.
  • كل المفاتيح هي من نفس النوع، مثلاً: نص أو String.
  • كل المفاتيح هي من نفس النوع، مثلاً: عدد صحيح.
  • كل القيم هي من نفس النوع، مثلاً: عدد عشري.
  • كل القيم هي من نفس النوع، مثلاً: عدد حقيقي.
  • إذا كانت و هي مجموعات، فإن هي مجموعة كل الأزواج , بحيث أن و (الضرب الديكارتي).
  • إذا كانت هي مجموعة، فإن هي مجموعة كل المجموعات التي يمكن تكوينها من عناصر , أو ما تسمى بنجمة كلين.

تعريف اقتران الهيكلة Map واقتران التجميع Reduce[عدل]

أو

المصادر[عدل]

  1. ^ Google spotlights data center inner workings | Tech news blog - CNET News.com نسخة محفوظة 19 أكتوبر 2013 على موقع واي باك مشين.[وصلة مكسورة]
  2. ^ "Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages." -"MapReduce: Simplified Data Processing on Large Clusters", von Jeffrey Dean und Sanjay Ghemawat, مختبرات جوجل نسخة محفوظة 11 ديسمبر 2017 على موقع واي باك مشين.
  3. ^ USP 7,650,331 (United States Patent and Trademark Office) نسخة محفوظة 03 يوليو 2017 على موقع واي باك مشين.