جوجل بوت

من ويكيبيديا، الموسوعة الحرة
اذهب إلى التنقل اذهب إلى البحث
جوجل بوت
Google 2015 logo.svg
معلومات عامة
نوع
المطور الأصلي
المطورون
موقع الويب

جوجل بوت (بالإنجليزية: Googlebot)‏ هو برنامج من نوع زاحف الشبكة والذي تستخدمه جوجل، حيث يقوم بجمع المستندات من الويب لإنشاء فهرس يمكن البحث فيه لمحرك بحث جوجل. يُستخدم هذا الاسم للإشارة إلى نوعين مختلفين من برامج زاحف الشبكة: زاحف سطح المكتب (لمحاكاة مستخدمي سطح المكتب) وزاحف الجوال (لمحاكاة مستخدم الهاتف).[1]

طريقة عمله[عدل]

من المحتمل أن يتم الزحف إلى موقع ويب بواسطة كل من جوجل بوت سطح المكتب و جوجل بوت الجوال. يمكن التعرف على النوع الفرعي لبرنامج جوجل بوت من خلال النظر في سلسلة وكيل المستخدم في الطلب. ومع ذلك، يلتزم كِلا نوعي الزاحف برمز المنتج نفسه (الرمز المميز المفيد) في ملف robots.txt، وبالتالي لا يستطيع المطور استهداف جوجل للجوال أو جوجل لسطح المكتب باستخدام ملف robots.txt بشكل انتقائي.

إذا رغب مشرف الموقع في تقييد المعلومات الموجودة على موقعه المتاح لبرنامج جوجل بوت، أو عنكبوت آخر حسن التصرف، فيمكنه القيام بذلك باستخدام التوجيهات المناسبة في ملف robots.txt ،[2] أو عن طريق إضافة العلامة الوصفية [الإنجليزية] <meta name="Googlebot" content="nofollow" /> إلى صفحة الويب.[3] يمكن التعرف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل مستخدم [الإنجليزية] تحتوي على "جوجل بوت" وعنوان مضيف يحتوي على "googlebot.com".

حاليًا، يتبع جوجل بوت روابط المواقع وروابط الملفات..[2] هناك أدلة متزايدة على أن جوجل بوت يمكنه تشغيل أكواد جافا سكريبت وتحليل المحتوى الناتج عن أكواد أجاكس أيضًا.[4] هناك العديد من النظريات المتعلقة بمدى تقدم قدرة جوجل بوت على معالجة جافا سكريبت، وتتراوح الآراء بين الحد الأدنى من القدرة المستمدة من مترجمين مخصصين.[5] حاليًا، يستخدم جوجل بوت خدمة عرض الويب (WRS) والتي تستند إلى محرك عرض كروميوم (الإصدار 74 بتاريخ 7 مايو 2019).[6] يكتشف جوجل بوت الصفحات عن طريق تجميع جميع الروابط في كل صفحة يعثر عليها. ثم يقوم بتتبع هذه الروابط إلى صفحات الويب الأخرى. يجب ربط صفحات الويب الجديدة من صفحات أخرى معروفة على الويب ليتم الزحف إليها وفهرستها أو إرسالها يدويًا بواسطة مشرف الموقع.

غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم خطط استضافة ويب ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص للمواقع المتطابقة [الإنجليزية] والتي تستضيف مساحة كبيرة بمقياس جيجابايت من البيانات. توفر جوجل خدمة "تحكم البحث" والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.[7]

عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستخدم فريق تطوير جوجل بوت (فريق الزحف والفهرسة) العديد من المصطلحات المحددة داخليًا لتولي مسؤولية "ميزانية الزحف".[8] منذ مايو 2019، يستخدم جوجل بوت أحدث محرك عرض من كروميوم، والذي يدعم ميزات إي سي إم إيه سكريبت 6. سيؤدي هذا إلى جعل الروبوت "دائم الحداثة" بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.[9]

ميديابوت[عدل]

ميديابوت هو زاحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى يتمكن جوجل أدسنس من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستخدم "Mediapartners-Google / 2.1".

على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي.

مراجع[عدل]

  1. ^ "Googlebot". Google. 2019-03-11. مؤرشف من الأصل في 12 ديسمبر 2020. اطلع عليه بتاريخ 11 مارس 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)
  2. أ ب "Google Search Console". Google.com. مؤرشف من الأصل في 14 ديسمبر 2020. الوسيط |CitationClass= تم تجاهله (مساعدة)
  3. ^ "Google Search Console". search.google.com. مؤرشف من الأصل في 14 ديسمبر 2020. اطلع عليه بتاريخ 11 مارس 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)
  4. ^ "Understand the JavaScript SEO basics | Search for Developers". Google Developers (باللغة الإنجليزية). مؤرشف من الأصل في 03 نوفمبر 2020. اطلع عليه بتاريخ 26 يوليو 2020. الوسيط |CitationClass= تم تجاهله (مساعدة)
  5. ^ Splitt, Martin. "How Google Search indexes JavaScript sites - JavaScript SEO". YouTube. مؤرشف من الأصل في 8 نوفمبر 2020. الوسيط |CitationClass= تم تجاهله (مساعدة)
  6. ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (باللغة الإنجليزية). مؤرشف من الأصل في 06 نوفمبر 2020. اطلع عليه بتاريخ 07 يونيو 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)
  7. ^ "Google - Webmasters". Google.com. مؤرشف من الأصل في 12 ديسمبر 2020. اطلع عليه بتاريخ 15 ديسمبر 2012. الوسيط |CitationClass= تم تجاهله (مساعدة)
  8. ^ "What Crawl Budget Means for Googlebot". Official Google Webmaster Central Blog (باللغة الإنجليزية). مؤرشف من الأصل في 13 ديسمبر 2020. اطلع عليه بتاريخ 04 يوليو 2018. الوسيط |CitationClass= تم تجاهله (مساعدة)
  9. ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (باللغة الإنجليزية). مؤرشف من الأصل في 06 نوفمبر 2020. اطلع عليه بتاريخ 17 يونيو 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)

وصلات خارجية[عدل]