هذه المقالة يتيمة. ساعد بإضافة وصلة إليها في مقالة متعلقة بها
يرجى مراجعة هذه المقالة وإزالة وسم المقالات غير المراجعة، ووسمها بوسوم الصيانة المناسبة.

الحوسبة السحابية والبيانات الكبيرة

من ويكيبيديا، الموسوعة الحرة
اذهب إلى التنقل اذهب إلى البحث
N write.svg
تعرَّف على طريقة التعامل مع هذه المسألة من أجل إزالة هذا القالب.هذه مقالة غير مراجعة. ينبغي أن يزال هذا القالب بعد أن يراجعها محرر مغاير للذي أنشأها؛ إذا لزم الأمر فيجب أن توسم المقالة بقوالب الصيانة المناسبة. يمكن أيضاً تقديم طلب لمراجعة المقالة في الصفحة المُخصصة لذلك. (يناير 2016)

تمثل معالجة البيانات الكبيرة تحدياً جديداً في مجال الحوسبة، وخاصة في مجال الحوسبة السحابية. تتضمن عملية معالجة البيانات اقتناء وتخزين البيانات وتحليلها. كيف تتم معالجة البيانات الكبيرة في الحوسبة السحابية؟ وما هي العلاقة بين البيانات الكبيرة والحوسبة السحابية؟ سوف يجيب هذا البحث عن هذه الأسئلة بعد تقديم استعراض عام عن البيانات الكبيرة (أي تعريفها وخصائصها وتصنيفاتها) ثم سوف يشرح بشكل عام تكنولوجيا الحوسبة السحابية، وأخيرا سوف يستعرض البحث بعض التحديات الرئيسية التي تواجهها معالجة البيانات الكبيرة في بيئات الحوسبة السحابية.

المقدمة[عدل]

تشكل البيانات الكبيرة مع الحوسبة السحابية الأساس لكوكب أكثر ذكاءً. لقد أصبحت حياتنا تعتمد بشكل كبير على الحوسبة السحابية فمعظم الأعمال التجارية والطبية والاجتماية والسياسية وحتى المؤسسات الشخصية أصبحت تعتمد على تكنولوجيا الحوسبة السحابية لإنجاز مهامها. في هذا العصر أصبحت كثير من الدول المتقدمة تعتبر الانترنت وتكنولوجيا الحوسبة السحابية المورد الخامس من الموارد العامة الرئيسية بعد الماء والكهرباء والنفط والنفط والغاز. على الرغم من أن هذا ليس هو الحال في الدول النامية ولكن في معظم الدول حتى النامية منها وفي كل يو تقريبا فإن أي شخص عادي قد يحتاج إلى استخدام البريد الإلكتروني وتخزين الملفات (لتخزين الموسيقى أو الفيديو مثلاً )، ويحتاج إلى استخدام وثائق جوجل، والشبكات الاجتماعية والعديد من التطبيقات السحابية الأخرى. أيضاً في العمل اليومي لأي شركة فإنها قد تحتاج للاتصال بموظفيها من أي مكان في العالم وفي أي وقت. حياتنا ليست غائمة فحسب، بل إنها أيضا تمطر بالبيانات. إن هناك زيادة سريعة في كمية البيانات التي تنتشر في الحوسبة السحابية. على سبيل المثال، في الربع الثالث من عام 2015 كان الفيسبوك يضم أكثر من مليار مستخدم نشط كل يوم مع أكثر من ثلاثة ملايين رسالة أرسلت كل 20 دقيقة.[1] موقع تويتر كذلك كان يضم أكثر من 316 مليون مستخدم نشط شهريا [2] بالإضافة إلى أكثر من 58مليون تغريدة كل يوم. هذا بالإضافة كميات ضخمة من البيانات التي يتم إنشاؤها على شبكة الإنترنت من خلال العديد من الشركات التجارية والحكومات الإلكترونية وغيرها الكثير من المؤسسات التي تعتمد على الانترنت. تأتي قوة البيانات الكبيرة جنبا إلى جنب مع قوة الحوسبة السحابية حيث يدخل العالم عصراً جديداً من تكنولوجيا المعلومات هو عصر تكنولوجيا الحوسبة السحابية المصحوب بكميات هائلة من البيانات المنشرة على الانترنت والتي تحتاج لمعالجة وتخزين. إنّ معالجة البيانات الضخمة في البيئات المحلية التي لا تستخدم الانترنت ليسة بالعملية السهلة حيث أنّ أنظمة إدارة قواعد البيانات التقليدية (DBMS) ليست مناسبة لمعالجة هذه الكميات الهائلة من البيانات. غير أن الوضع في بيئات الحوسبة السحابية يصبح أكثر تعقيداً. كثير من الشركات المختصة في صناعة تكنولوجيا المعلومات اهتمت بمعالجة هذا الوضع وأنتجت العديد من التقنيات للتعامل معه. يستعرض هذا البحث بعض التقنيات التي تتعلق بتحليل وتخزين البيانات الكبيرة في بيئات الحوسبة السحابية. في القسم الثاني من المقدمة يستعرض البحث بعض البحوث والدراسات التي أجريت حول العلاقة بين البيانات الضخمة والحوسبة السحابية. القسم الثاني من البحث يعرض بشكل عام مفاهيم البيانات الكبيرة وخصائصها. القسم الثالث هو نظرة عامة على تكنولوجيا الحوسبة السحابية. امّا القسم الرابع من هذه البحث فهو يناقش العلاقة بين البيانات الكبيرة والحوسبة السحابية. و يصف مراحل معالجة البيانات الكبيرة (من استعلام وتخزين وتحليل) في بيئات الحوسبة السحابية. القسم الخامس يستعرض بعض التحديات الرئيسية التي تواجهها البيانات الكبيرة في الحوسبة السحابية. أخيرا يلخص القسم السادس كل ما جاء في هذا البحث ويضيف بعض الملاحظات الاستنتاجية.

مراجعة أدبية[عدل]

تعتبر البيانات الكبيرة والحوسبة السحابية تقنيات جديدة. حيث تم اقتراح مفهوم الحوسبة السحابية في عام 2006 [3] من قبل إريك شميدت (الرئيس التنفيذي لجوجل)، حيث استخدم كلمة سحابة لوصف نموذج توفير الخدمات والتطبيقات عبر الإنترنت. إنّ 90٪ من البيانات في العالم تم إنشائها في العامين الماضيين، حيث أن البيانات عبر الإنترنت تتزايد بطريقة سريعة. معظم الشركات المهتمة في مجال التكنولوجيا اهتمت بعصر التكنولوجيا الجديد وهو عصر الحوسبة السحابية التي تحتوي بيانات ضخمة واعتبرتها الجيل القادم في تكنولوجيا الانترنت. اهتم العديد من الباحثين بدراسة العلاقة التكاملية بين تكنولوجيا الحوسبة السحابية وتكنولوجيا البيانات الضخمة حيث استحوذت دراسة الوضع الحالي والمستقبلي لهذه العلاقة على اهتمام كثير من الباحثين ref> > د. أغراوال، س. داس، وعبد المنعم العبادي، "البيانات الكبيرة والحوسبة السحابية: الحالة الراهنة والفرص المستقبلية"، في وقائع المؤتمر الدولي ال14 لتكنولوجيا توسيع قاعدة البيانات، ص 530-533، ACM، 2011. ( بالانجليزية)</ref>. بعض الأبحاث الأخرى ركزت على التحديات الأمنية التي تواجهها معالجة البيانات الضخمة في البيئات السحابية.[4] و ناقشت أبحاث أخرى التقنيات والأسايب المستخدمة في تحليل البيانات الكبيرة في البيئات السحابية [5][6][7][8] وكيف يمكن للحوسبة السحابية أن تكون محفزاً لتحليل البيانات الكبيرة.[9] هناك ابضا خدمات خاصة مؤسسة على تحليل البيئات السحبية تم اقتراحها بناء على درسات تجريبية على المدن الذكية. وقدم الباحثون أيضاً إرشادات للعملاء حول كيفية استخدام تطبيقات البيانات الكبيرة في البيئات السحابية. العديد من الأبحاث استعرضت مفاهيم وأساسيات البيانات الكبيرة وظهورها في البيئات السحابية.[10][11] أمّا هذا البحث فقد ركز على العلاقة بين هاتين التقنيتين من خلال دراسى ة ووصف حيازة وتخزين وتحليل البيانات الكبيرة في الحوسبة السحابية.

البيانات الكبيرة[عدل]

يطلق مصطلح البيانات الكبيرة على الكمية الهائلة من البيانات كبيرة الحجم ذات السرعة عالية والأنواع مختلفة هذه البيانات لا يمكن أن تتم معالجتها وتخزينها في أجهزة الكمبيوتر العادية. يمكن تلخيص الخصائص الرئيسية للبيانات الكبيرة والتي تسمى 4V’s بما يأتي:

1) الحجم :(Volume)كمية هائلة من البيانات ( مستوى تيرابايت Terabytes وبيتابايتPetabytes وأكثر).

2) السرعة(Velocity): لهذه الخاصية ثلاثة أبعاد: • البيانات في الحركة: على سبيل المثال الوقت بين زيارة صفحة ويب والنقر قبل الزائر. • العمر المرافق للبيانات: الوقت الذي تظل فيه البيانات قيّمة. • الوقت الحقيقي لتحليل البيانات الكبيرة: هي السرعة التي يجب أن يتم بها تخزين البيانات واسترجاعها. 3) التنوّع(Variety): أنواع مختلفة من البيانات مثل الوثائق والرسوم البيانية والصوت والفيديو والرسائل النصية، التي تأتي من مصادر مختلفة مثل وسائل الإعلام الاجتماعية ورسائل البريد الإلكتروني وإشارات GPS و البيانات الطبية وغيرها. حيث يمكن تصنيف محتوى البيانات إلى مهيكلة وغير مهيكلة(structured and unstructured). 4) القيمة (Value): الهدف من البيانات حيث أنه يمكنك الوصول إلى البيانات بسهولة ولكن بالتأكيد يهمك قيمة هذه البيانات. إنّ درجة دقة البيانات تعطيها قيمة أيضاً. من أجل التعامل مع البيانات واسعة النطاق في البيئات السحابية تصنف البيانات الكبيرة إلى خمس فئات على أساس: مصدر البيانات، شكل المحتوى، ومخازن البيانت، ومراحلها ومعالجتها.

الحوسبة السحابية[عدل]

تستخدم كلمة سحابة في الحوسبة السحابية للدلالة على الانترنت.[12] هذا النوع من الحوسبة يختلف عن الحوسبة التقليدية الأخرى في أنّ هذا النوع من الحوسبة ينفذ على موارد الحوسبة المشتركة بدلا من أجهزة الكمبيوتر المحلية حيث يتم استضافة مختلف الخدمات وتلقيها من خلال شبكة الانترنت. لم تتطور تكنولوجيا الحوسبة السحابية في آن واحد، فقد تطورت من خلال عدد من التقنيات المتقدمة مع مرور الوقت، مثل الحوسبة الشبكية، الحوسبة الخدمية المقترحة في 1990s، وتكنولوجيا البرمجيات كخدمة( Software as (Service المقترحة في عام 2001. و أخيرا تم اعتبار تكنولوجيا الحوسبة السحابية لتكون الجيل القادم من حوسبة الانترنت.

تصنيف الحوسبة السحابية[عدل]

يمكن تصنيف تطبيقات الحوسبة السحابية وفقا لنوع الخدمة أو أسلوب النشر 1) التصنيف حسب نوع الخدمة: • البنية التحتية كخدمة (Infrastructure as a Service(IaaS))تزود الدعم المادي مع التخزين الظاهري والخوادم. كما تدعم خدمة الشبكة أيضاً. يمكن للمستخدمين استخدام هذه التطبيقات وفقا لاحتياجاتهم. أمثلة: Amazon Elastic Cloud Computing (EC2), Google Compute Engine (GCE), Microsoft Azure • المنصات كخدمة (Platform as a Service(PaaS)) تدعم الاستضافة حيث يمكن للمستخدمين تطوير تطبيقاتهم بناءً على قواعد معينة. الأمثلة على ذلك: محرك تطبيقات جوجل. (Google’s Apps Engine.) • البرمجيات كخدمة (Software as a Service (SaaS)) توفر التطبيقات التي تسخدم عبر التصفح أو التطبيقات التي يمكن استخدامها مباشرة. من الامثلة على ذلك نظام دارة العلاقات مع الزبائن CRM Customer Relationship Management التي توفرها شركة سيلزفورس Salesforce و مستندات جوجل Google Docsو الجيميل Gmail وcisco WebEx . 2) التصنيف حسب طريقة النشر: لحل مشاكل الأمن والموثوقية والتنظيمية في البيئات السحابية تم تصنيفها إلى ثلاث فئات لتحديد العلاقة بين مقدمي الخدمة والمستخدمين. • السحابة العامة: يتم تقاسم السحابة بين مقدمي الخدمات والمستخدمين. • سحابة خاصة: يتم استخدام السحابة من جانب مقدمي الخدمات. يمكن للمستخدمين الأعضاء فقط تبادل الموارد السحابية. • سحابة الهجين: هو مزيج من الطريقتين السابقة.

خصائص الحوسبة السحابية[عدل]

الحوسبة السحابية تختلف عن الحوسبة التقليدية في حجمها الكبير والعديد من الميزات الأخرى: الافتراضية (Virtualization:) توفر منصات سحابية بناء على نسخ افتراضية من التطبيقات بدلا من تلك المادية. وهذا يساعد في نقلها عبر البيئات السحابية ومراكز البيانات. • الديناميكية (المرونة)( Dynamic (flexibility)): توفر المنصات السحابية إمكانية إجراء تغييرات في الحجم بناء على احتياجات المستخدمين. • مقياس اقتصادي Economies of scale: نطاق واسع من موارد منصات الحوسبة السحابية يمكنها السيطرة على رسوم الإيجار أو استخدام هذه الموارد مما يؤدي إلى زيادة أو تقليل عدد المستخدمين. • الخدمة على الطلب: (On demand service): المنصات السحابية تتيح للمستخدمين تحديد حجم الموارد بناء على احتياجاتهم. • إمكانية عالية (High reliability): المنصات السحابية عادة تتيح استخدام النسخ الاحتياطية لزيادة الموثوقية وتتيح استخدام نظم إدارة الشبكات الديناميكية لزيادة الكفاءة والأداء.

نماذج خدمات الحوسبة السحابية:

١:البرمجة كخدمة

٢: المنصة كخدمة

٣:البنية التحتية كخدمة(IASS)

(Infrastructre As A Service)

العلاقة بين الحوسبة السحابية والبيانات الكبيرة[عدل]

إنّ العلاقة بين البيانات الكبيرة والحوسبة السحابية هي علاقة تكاملية. الحوسبة السحابية هي نهج التكنولوجيا الجديدة في حين أن البيانات الكبيرة هي ظاهرة البيانات الضخمة المتزايدة بطريقة سريعة. تتيح تكنولوجيا البيانات الكبيرة للمستخدمين معالجة الاستعلامات الموزعة من مجموعات مختلفة من البيانات والحصول على النتائج في الوقت المناسب.[5] بينما توفر الحوسبة السحابية المحرك الأساسي للقيام بذلك.[7] تم تصميم نظم إدارة قواعد البيانات التقليدية للبنية التحتية للمؤسسات المحلية، وهي تفتقر إلى الكثير من الميزات السحابية.[13] معالجة البيانات الكبيرة في البيئة السحابية تتطلب تقنيات خاصة حيث أنها تتطلب بنية تحتية مناسبة، وأنظمة تخزين واستعلام خاصة وطرق تحليل خاصة أيضاً.

استخراج البيانات الكبيرة في البيئات السحابية[عدل]

الخطوة الأولى في تحليل البيانات هو الحصول على البيانات أو استخراجها. بل هو شرط أساسي لمعالجة البيانات. ويشمل الحصول على البيانات خطوات تحضيرية مثل استخراج البيانات وتحويلها وتحميلها (ETL: Extraction, Transformation, Loading)). ويشمل تحضيرها أيضاً تصفية البيانات وتنظيفها. في البيئات السحابية هناك أنواع مختلفة من المعلومات مثل النصوص والصور وURL التي تأتي من مصادر مختلفة مثل مواقع وسائل الاعلام الاجتماعية، ومحركات البحث والمواقع التجارية، كلها تدخل في عملية استخراج البيانات. أدوات ETL تستخدم في تحويل وتنظيف أنواع مختلفة من البيانات غير المتجانسة والموزعة وتحميلها على نظام تخزين مناسب (مثل مستودعات البيانات). أدوات ETL للبيانات الكبيرة تختلف عن عنها في ETL التقليدية في سرعة إنتاج البيانات وحجم البيانات. يجب أن تتضمنن أدوات ETL المستخدمة للبيانات الكبيرة اختيار التكنولوجيا الحديثة مثل قواعد البيانات الموزعة والمعالجة في وقت مناسب.

تخزين البيانات الكبيرة في البيئات السحابية[عدل]

في الوقت الحاضر هناك الكثير من تطبيقات الويب الفردية التي يمكن أن تولد كمية كبيرة من البيانات كل ثانية، على سبيل المثال في كل يوم يتم تخزين 500 تيرابايت من البيانات في قواعد بيانات الفيسبوك [6] و أكثر من 360 تيرابايت من البيانات يتم تحميلها على موقع يوتيوب. إنّ نمو البيانات في البيئات السحابية يتزايد بشكل كبير وسريع مع ازدياد عد المستخدمين المتصلين بالانترنت حول العالم. مع هذا النمو السريع فإن السؤال الذي يتبادر إلى الذهن هو كيف يمكن تخزين هذه الكميات الهائلة من البيانات في البيئات السحابية؟ نحن بحاجة إلى تقنية التخزين التي تلبي احتياجات النمو السريع للبيانات على السحابة، نحن بحاجة إلى تقنية تخزين مع تكلفة منخفضة، وموثوقية عالية وإمكانية عالية. يمكن تصنيف طرق تخزين البيانات الكبيرة في البيئات السحابية إلى نوعين: أنظمة الملفات الموزعة وقواعد البيانات الموزعة. تستخدم أنظمة الملفات الموزعة لدعم تخزين كميات كبيرة من الملفات. لحل مشكلة تخزين عدد كبير من صفحات الويب وضعت جوجل نظام تخزين الملفات جوجل( GFS) [14] ولكن مشكلته أنه ليس مفتوح المصدر. ياهو والمجتمعات الأخرى وضعت نظام مفتوح المصدر مبني على GFS أسمته Hadoop Distributed File Systems (HDFS) [15] نظام تخزين الملفات الموزعة ( (HDFS يقوم بتخزين كمية كبيرة من الملفات حيث يتم تقسيمها إلى عدة كتل clusters.حيث تتكون كل كتلة من مجموعة من العقد nodes . كتلة Hadoop هي مجموعة من الخوادم ومجموعة HDFS’s تقوم بتوزيع وتخزين البيانات عبر كافة العقد في هذه المجموعة. كتلة HDFS تشمل ثلاث عقد: 1. عقدة الاسم NameNode تعمل كعقدة رئيسية وهي التي تسيطر على تخزين المجموعات. إنها تقسم البيانات إلى مجموعات، كل مجموعة يتم نسخها ثلاث مرات وتخزينها في الكتلة. 2. عقدة البيانات DataNode تعمل على عقد الخوادم وتوفر إمكانية السماح بالخطأ. إذا فشلت عقدة الخادم تضمن النسخ القادمة من NameNode التأكد من أن النظام لن يتوقف أو يفشل في هذه الحلة. 3. جهاز العميل Client Machine يمكن أن يكون DataNode أو NameNode، يكون نظام Hadoop مثبتاً عليه. يقوم بتحميل البيانات في الكتلة، يقدم وظائف إلى MapReduce ويظهر نتائج المهمة عندما تكتمل. أمّا قواعد البيانات الموزعة NoSQL فإنها تُسخدم لتلبية احتياجات تحليل ومعالجة كميات كبيرة من البيانات غير المهيكلة أو غير المنظمة. وقد حلت قواعد بيانات NoSQL مشاكل التزامن، والتدرجية، والتسامح مع الخطأ التي واجهت قواعد البيانات العلائقية التقليدية. و مثل قاعدة بيانات SQL التقليدية (لغة الاستعلام الهيكلية) يستخدم NoSQL أيضا الاستعلامات ولكنها لا تتقييد باستخدامها وحدها فقد تستخدم لغات أخرى غير SQL. هناك أربعة أنواع منNoSQL: مخزن مفتاح القيمKey-Value store يحتوي على جدول من المفاتيح والقيم (على سبيل المثال(Riak, Amazon S3),)، و المخزن القئم على الوثائق document based store حيث تتكون الوثائق من عناصر مختارة. و المخزن القائم على العمودColumn based store الذي كل كتلة فيه تحتوي بيانات من عمود واحد فقط (مثل HBase) والمخزن القئم على الرسم البيانيGraph based store حيث تستخدم قاعدة بيانات الشبكة الحواف والعقد لتمثيل وتخزين البيانات (مثل Neo4J). لحل مشكلة التعامل مع مجموعة متنوعة من البيانات الكبيرة، وضعت جوجل نظام قاعدة بيانات وزعت على أساس المخزن القائم على العمود يسمى BigTable [16] يعمل على تقديم تحليل للبيانات الكبيرة غير المتناسقة. نموذج البيانات من BigTable يتكون من الصفوف والأعمدة، والطوابع الزمنية. يتم تخزين البيانات في الخلايا. يتكون القرص من العديد من الصفوف ويتم حفظها إلى عقدة الخادم.

تحليل البيانات الكبيرة في الحوسبة السحابية[عدل]

ينقسم تحليل البيانات الكبيرة في البيئات السحابية إلى نوعين ريئسيين batch offline و real time في النوع الأولbatch offline تتم معالجة مجموعات كبيرة من البيانات تلقائيا دون أي تبادل أو مراقبة من قبل المستخدم. بعد جمع البيانات، تتم معالجة جميع البيانات في وقت واحد. و من الأمثة عليها: Hadoop و.MapReduce . MapReduce هو نموذج البرمجة التي وضعتها جوجل على أساس GFS لتجهيز عدد كبير من مجموعات البيانات. ويستخدم مجموعة واسعة النطاق لأداء المهام والعمليات الموازية تلقائيا باستخدام برنامج مثل Hadoop. ويمكن تطبيقها على البحث في مواقع الويب وتطبيقات الويب الأخرى. الخوارزمية MapReduce تشمل وظيفتين: وظيفة Mapلتحويل العناصر في نوع من قائمة إلى نوع آخر ووضعها مرة أخرى في نفس النوع من القائمة. ثم يتم تنفيذ التصفية وعمليات الفرز. وظيفةReduce لجمع العناصر الموجودة في القوائم المخرجات من Map وأداء بعض الحسابات على كل منهم للحد منها في قيمة واحدة. Hadoop هو برنامج مفتوح المصدر يعتمد على HDFS. و هو يعمل على معالجة البيانات الموزعة معالجة فعالة وموثوق بها لكميات هائلة من البيانات. وقد وضعت Hadoop أساسا عن طريق Yahoo لحل مشكلة البيانات الكبيرة عن طريق كسر البيانات إلى قطع صغيرة يمكن معالجتها بشكل متواز. يضم Hadoopاثنين من الأنظمة الرئيسية: تخزين HDFS ومحرك MapReduce. Hadoop MapReduce [17][18] هو تنفيذ لخوارزمية MapReduce. تم تطويره من قبل مشروع أباتشي ويشمل عدة مراحل، كل مرحلة لها مجموعة من العمليات لإخراج النتيجة المرجوة للمستخدم. تبدأ العملية عند طلب المستخدم لتشغيل برنامج MapReduce وتستمر حتى تتم كتابة النتائج إلى HDFS.

وقد وُضعت العديد من الأنظمة القائمة على Hadoop وMapReduce. على سبيل المثال، أباتشيHive [19] هو برنامج مستودع البيانات على أساس Hadoop. هو يستخدم لإدارة والاستعلام عن مجموعات كبيرة من البيانات في تخزين الموزعة. مثل لغة SQL، خلية لديها لغتها الخاصة بها ودعا HiveQl. في الوقت الحقيقي real time analysis عندما يتم إدخال البيانات من قبل المستخدم يتم معالجتها فورا ويحتاج المستخدم إلى الانتظار لفترة وجيزة لا تتجاوز ميلي ثانية (مثل نظم الحجز). من الأمثلة على الحوسبة التفاعلية دريميل جوجل وسبارك [20] وإمبالا [21]

التحديات الرئيسية[عدل]

التعامل مع البيانات كبيرة في مجال الحوسبة السحابية لا يزال لديه الكثير من التحديات الرئيسية. واحدة من هذه التحديات هي قدرة تخزين [22][23] للتعامل مع كميات متزايدة من البيانات بطريقة مناسبة. ميزات الحوسبة السحابية ليست مناسبة لدعم RDBMS. وقد أدى هذا إلى تطوير قواعد بيانات ال NoSQL. التحدي الآخر هو توافر البيانات المخزنة في السحابة. مع تزايد عدد المستخدمين السحابية ومقدمي الخدمات السحابية يجعل من الضروري معالجة مسألة جعل البيانات المطلوبة متوفرة للمستخدمين لتقديم خدمات ذات جودة عالية في الوقت المناسب. عدم التجانس هو أيضا تحدي آخر لللتعامل مع البيانات الكبيرة في الحوسبة السحابية. إنّ هناك مجموعة متنوعة من البيانات الكبيرة نتيجة لنمو مصادر مختلفة غير محدودة من البيانات وهذا النمو يؤدي إلى صفة عدم التجانس للبيانات الكبيرة. البيانات التي تأتي من مصادر متعددة عادة ما تكون من أنواع وأشكال تمثيلية مختلفة مترابطة إلى حد كبير، لديها صيغ غير متوافقة وممثلة بشكل غير متناسق. ويتمثل التحدي هنا في كيفية التعامل مع مصادر وأنواع بيانات متعددة. الخصوصية أيضاً [24] تشكل تحديا آخر في الحوسبة السحابية للبيانات الكبيرة. التطوير في استخراج البيانات الكبيرة وتحليلاتها تتطلب معلومات شخصية من الأفراد لتحقيق نتائج ذات الصلة، مثل الشخصية، والمكان استنادا إلى الخدمة المطلوبة وفي هذه الحالة فإنه من الضروري حماية المعلومات الشخصية للأفراد.

الخلاصة[عدل]

لقد بين هذا البحث العلاقة التكاملية بين تقنيات الحوسبة السحابية والبيانات الكبيرة وكيف يتم التعامل مع البيانات الكبيرة في بيئات الحوسبة السحابية. بالإضافة إلى تقديم مراجعة عامة حول هاتين التقنيتين، حيث اشتمل البحث على عرض مفاهيم كل تقنية وتصنيفاتها وخصائصها. الحوسبة السحابية تختلف عن الحوسبة التقليدية في حجمها الكبير ومقياسها الاقتصادي، وأنها يمكن أن توفر للمستخدمين مستويات مختلفة من الخدمات التي يمكن تكوينها بناء على طلبهم. لقد تم تطوير مجموعة من التقنيات المتقدمة للعمل مع الكم الهائل والسرعة العالية ونماذج البيانات غير المتجانسة خلا تحليل البيانات الكبيرة في البيئات السحابية. حجم البيانات في بيئات الحوسبة السحابية يتزايد بطريقة مستمرة وسريعة. هناك زيادة أيضا في تنوع محتويات البيانات ومصادرها . الحوسبة السحابية لديها مميزاتها الخاصة (مثل المحاكاة الافتراضية، والموثوقية، والمرونة، والحجم الاقتصادي، وما إلى ذلك) التي لايمكن للتكنولوجيات التقليدية وقواعد البيانات التقليدية (DBMSs) التعامل معها بشكل مناسب. لقد طوّرت صناعات تكنولوجيا المعلومات العديد من التقنيات لتخزين البيانات الكبيرة في البيئات السحابية مثل نظام الملفات الموزعة وقواعد البيانات الموزعة. وقد تم تطوير نموذج البرمجة الMapReduce وبرنامج Hadoop لتحليل البيانات الكبيرة في البيئات السحابية. واحدة من التحديات الرئيسية لتطبيقات البيانات الكبيرة الناجحة على السحابة هو تكوين منصات تخزين فعالة وبنية تحتية ذات كفاءة. خدمات ويب أمازون (AWS)، ومحرك حساب جوجل (GCE)، ومايكروسوفت أزور، وتطبيقت محرك جوجل أمثلة ناجحة على بيئات الحوسبة السحابية التي تتضمن بيانات كبيرة. توفير التقنيات مفتوحة المصدر للسحابة يمثل أيضا تحدياً رئيسياً. وهذا من شأنه جذب المزيد من المستخدمين، وهذه هي الميزة الرئيسية التي تجعل Hadoop البرنامج الأكثر شعبية لمعالجة البيانات الكبيرة في البيئة السحابية. MapReduce هو خوارزمية لمعالجة كميات كبيرة من البيانات. Hadoop MapReduce هوبرنامج تنفيذي مفتوح المصدر لخوارزمية MapReduce.

الحوسبة السحابية هي مستقبل تكنولوجيا المعلومات والزيادة المستمرة في توليد كميات هائلة من البيانات في البيئات السحابية لا مفر منها ويجب على التكنولوجيا الجديدة أن تكون مهتمة وحذرة حول هذا الموضوع.

مراجع[عدل]

  1. ^ احصائيات الشبكات الاجتماعية http://www.statisticbrain.com الوصول 2015-11-21. ( بالانجليزية) نسخة محفوظة 2020-09-09 على موقع واي باك مشين.
  2. ^ احصائيات الشبكات الاجتماعية http://www.statista.com/ statistics/. ا الوصول 2015-11-21. ( بالانجليزية) نسخة محفوظة 2020-09-10 على موقع واي باك مشين.
  3. ^ ل. تشانغ و ر روبايا، "الحوسبة السحابية: حالة من الفن و التحديات البحثية"، مجلة خدمات الإنترنت والتطبيقات، المجلد. 1، العدد. 1، ص. 7-18، 2010. ( بالانجليزية)
  4. ^ ز. خانا. أنجوم، ك. سومرو، و م أ طاهر، "نحو سحابة مبنية على تحليلات البيانات الكبيرة للمدن الذكية في المستقبل"، مجلة الحوسبة السحابية، المجلد. 4، العدد. 1، ص. 1-11، 2015. ( بالانجليزية)
  5. أ ب م د أسونساو، ر ن كاليروس، س. بيانكي، م أ نيتو، و ر. روبايا، "حوسبة البيانات الكبيرة و السحابة: الاتجاهات والتوجهات المستقبلية"، المجلد مجلة الحوسبة المتوازية والموزعة. 79، ص. 3-15، 2015. ( بالانجليزية)
  6. أ ب س ي. سونج "تخزين البيانات الكبيرة .صعود التخزين في الحوسبة السحابية،" شركة Advanced Micro Devices، وشركة AMD، المجلد. 1، عدد. 2، ديسمبر 2012. ( بالانجليزية)
  7. أ ب ي. توشيا،ي. ساكاموتو، ي تسوشيموتو، وف. لي، "معالجة البيانات الكبيرة في البيئات السحابية" فوجيتسو الخيال العلمي. التكنولوجيا. J، المجلد. 48، عدد. 2، ص 159-168، 2012. ( بالانجليزية)
  8. ^ ب م جيمس كوبيلس، "نشر تحليلات تطبيقات البيانات الكبيرة إلى السحابة: خارطة الطريق للنجاح،" مجلس معايير الحوسبة السحابية العملاء، مايو 2014. ( بالانجليزية)
  9. ^ "البيانات الكبيرة في سحابة" التكنولوجيا. تقرير تفني، مركز إنتل -، أبريل 2015. ( بالانجليزية)
  10. ^ ج. أميت كومار مانيكار، "استعراض عن تحليل البيانات الكبيرة على اساس الحوسبة السحابية"، ICES مجلة عن شبكات الكمبيوتر والاتصالات (JCNC) ، المجلد. 1، عدد. 1، مايو 2015. (بالانجليزية)
  11. ^ الهاشمي. يعقوب،ن ب. أنور، س. مختار، AL. الغني، و س يو خان، "صعود البيانات الكبيرة على الحوسبة السحابية: استعراض وبحث القضايا المفتوحة"، نظم المعلومات، المجلد. 47، ص. 98-115، 2015. (بالانجليزية)
  12. ^ و د تيان وي د تشاو، "مقدمة في الحوسبة السحابية" في محسن موارد و ادارة و جدولة الحوسبة السحابية: نظريات وممارسات، الفصل. 1، ص 1- 15، مورغان كوفمان، 2015. (بالانجليزية)
  13. ^ م. تشن، س. ماو، وي. ليو، "البيانات الكبيرة: مسح" الشبكات المتنقلة والتطبيقات، المجلد. 19، عدد. 2، ص 171-209، 2014. (بالانجليزية)
  14. ^ س جيموات،ه جوبيوف، وس.ت لونغ، "نظام الملفات جوجل" في ACM SIGOPS أنظمة التشغيل الاستعراض، المجلد. 37، ص 29-43، ACM، 2003. ( بالانجليزية)
  15. ^ د بروذكار، "دليل العمارة Hdfs." HTTPS: // (بالانجليزية)hadoop
  16. ^ ف. تشانغ، ج. عميد س جيماوت، و س هسيه، د أ . الاك، م. الجحور، ت. شاندرا أ. فيكاس و ري جروبر، "Bigtable: نظام التخزين الموزع للبيانات المنظمة" ، معاملات ACM على نظم الحاسب الآلي (TOCS)، المجلد. 26، العدد. 2، ص. 4، 2008. (بالانجليزية)
  17. ^ "أباتشي hadoop." https://hadoop.apache.org/ 2015. تم الحصول عليها: 2015/11/21. (بالانجليزية) نسخة محفوظة 2020-09-06 على موقع واي باك مشين.
  18. ^ ج. دين و س جيماوت .:MapReduceتبسيط معالجة البيانات في مجموعات كبيرة،" اتصالات ACM، المجلد. 51، العدد. 1، ص 107-113، 2008. (بالانجليزية)
  19. ^ "أباتشي هايف" https://hive.apache.org/ 2011. تم الحصول عليها: 2015/11/21. (بالانجليزية) نسخة محفوظة 2020-08-28 على موقع واي باك مشين.
  20. ^ "أباتشي سبارك". https://spark.apache.org/. الوصول: 2015/11/21. ( الانجليزية) نسخة محفوظة 2020-09-02 على موقع واي باك مشين.
  21. ^ "إمبالا". http://impala.io//. الوصول: 2015/11/21. (بالانجليزية) نسخة محفوظة 2018-10-20 على موقع واي باك مشين.
  22. ^ م د اسوني، ر ن كالهريسوب، س بيانشيا ، م أ نيتاوا، و ر. بوياب" حوسبة البيانات الكبيرة و الحوسبة السحابية: التحديات والحلول والاتجاهات المستقبلية،" arXiv ورقة arXiv: 1312.4722، 2013. (بالانجليزية)
  23. ^ ن. ليفيت، "التحدي التخزين: أين سوف تذهب جميع البيانات التي الكبيرة؟"، الحاسوب، لا. 9، ص. 22-25، 2013. (بالانجليزية)
  24. ^ ف ن انكولا ،ساريس و س ر رافوري ، "قضايا الأمن المرتبطة في البيانات الكبيرة في الحوسبة السحابية،" المجلة الدولية لأمن الشبكات وتطبيقاتها (IJNSA)، المجلد. 6، عدد. 3، 2014. (بالانجليزية)