جوجل بوت: الفرق بين النسختين
| [نسخة منشورة] | [نسخة منشورة] |
ط بوت:الإبلاغ عن رابط معطوب أو مؤرشف V5.1 |
لا ملخص تعديل وسم: تعديل مصدر 2017 |
||
| سطر 39: | سطر 39: | ||
غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم [[استضافة الويب|خطط استضافة ويب]] ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص {{وإو|موقع متطابق|Mirror site|نص=للمواقع المتطابقة}} والتي تستضيف مساحة كبيرة بمقياس [[جيجابايت]] من البيانات. توفر جوجل خدمة "[[أدوات مشرفي محركات البحث جوجل|تحكم البحث]]" والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.<ref>{{استشهاد ويب|مسار= https://www.google.com/webmasters/|عنوان=Google - Webmasters|ناشر=Google.com |تاريخ= |تاريخ الوصول=2012-12-15|مسار أرشيف= https://web.archive.org/web/20201212212709/https://www.google.com/webmasters/ |
غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم [[استضافة الويب|خطط استضافة ويب]] ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص {{وإو|موقع متطابق|Mirror site|نص=للمواقع المتطابقة}} والتي تستضيف مساحة كبيرة بمقياس [[جيجابايت]] من البيانات. توفر جوجل خدمة "[[أدوات مشرفي محركات البحث جوجل|تحكم البحث]]" والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.<ref>{{استشهاد ويب|مسار= https://www.google.com/webmasters/|عنوان=Google - Webmasters|ناشر=Google.com |تاريخ= |تاريخ الوصول=2012-12-15|مسار أرشيف= https://web.archive.org/web/20201212212709/https://www.google.com/webmasters/ |
||
|تاريخ أرشيف=2020-12-12}}</ref> |
|تاريخ أرشيف=2020-12-12}}</ref> |
||
عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستخدم فريق تطوير جوجل بوت (فريق الزحف والفهرسة) العديد من المصطلحات المحددة داخليًا لتولي مسؤولية "ميزانية الزحف".<ref>{{Cite news|url=https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html|title=What Crawl Budget Means for Googlebot|work=Official Google Webmaster Central Blog|access-date=2018-07-04|language=en-US}}</ref> منذ مايو 2019، يستخدم جوجل بوت أحدث محرك عرض من [[كروميوم (متصفح ويب)|كروميوم]]، والذي يدعم ميزات [[إي سي إم ايه سكريبت|إي سي إم إيه سكريبت 6]]. سيؤدي هذا إلى جعل الروبوت "دائم الحداثة" بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.<ref>{{Cite web|url=https://webmasters.googleblog.com/2019/05/the-new-evergreen-googlebot.html|title=The new evergreen Googlebot|website=Official Google Webmaster Central Blog|language=en|access-date=2019-06-17}}</ref> |
|||
== ميديابوت == |
|||
'''ميديابوت''' هو زاحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى يتمكن [[جوجل أدسنس]] من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستخدم "Mediapartners-Google / 2.1". |
|||
على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي. |
|||
== مراجع == |
== مراجع == |
||
نسخة 22:48، 15 ديسمبر 2020
جوجل بوت (بالإنجليزية: Googlebot) هو برنامج من نوع زاحف الشبكة والذي تستخدمه جوجل، حيث يقوم بجمع المستندات من الويب لإنشاء فهرس يمكن البحث فيه لمحرك بحث جوجل. يُستخدم هذا الاسم للإشارة إلى نوعين مختلفين من برامج زاحف الشبكة: زاحف سطح المكتب (لمحاكاة مستخدمي سطح المكتب) وزاحف الجوال (لمحاكاة مستخدم الهاتف).[2]
طريقة عمله
من المحتمل أن يتم الزحف إلى موقع ويب بواسطة كل من جوجل بوت سطح المكتب و جوجل بوت الجوال. يمكن التعرف على النوع الفرعي لبرنامج جوجل بوت من خلال النظر في سلسلة وكيل المستخدم في الطلب. ومع ذلك، يلتزم كِلا نوعي الزاحف برمز المنتج نفسه (الرمز المميز المفيد) في ملف robots.txt، وبالتالي لا يستطيع المطور استهداف جوجل للجوال أو جوجل لسطح المكتب باستخدام ملف robots.txt بشكل انتقائي.
إذا رغب مشرف الموقع في تقييد المعلومات الموجودة على موقعه المتاح لبرنامج جوجل بوت، أو عنكبوت آخر حسن التصرف، فيمكنه القيام بذلك باستخدام التوجيهات المناسبة في ملف robots.txt ،[3] أو عن طريق إضافة العلامة الوصفية [الإنجليزية] <meta name="Googlebot" content="nofollow" /> إلى صفحة الويب.[4] يمكن التعرف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل مستخدم [الإنجليزية] تحتوي على "جوجل بوت" وعنوان مضيف يحتوي على "googlebot.com".
حاليًا، يتبع جوجل بوت روابط المواقع وروابط الملفات..[3] هناك أدلة متزايدة على أن جوجل بوت يمكنه تشغيل أكواد جافا سكريبت وتحليل المحتوى الناتج عن أكواد أجاكس أيضًا.[5] هناك العديد من النظريات المتعلقة بمدى تقدم قدرة جوجل بوت على معالجة جافا سكريبت، وتتراوح الآراء بين الحد الأدنى من القدرة المستمدة من مترجمين مخصصين.[6] حاليًا، يستخدم جوجل بوت خدمة عرض الويب (WRS) والتي تستند إلى محرك عرض كروميوم (الإصدار 74 بتاريخ 7 مايو 2019).[7] يكتشف جوجل بوت الصفحات عن طريق تجميع جميع الروابط في كل صفحة يعثر عليها. ثم يقوم بتتبع هذه الروابط إلى صفحات الويب الأخرى. يجب ربط صفحات الويب الجديدة من صفحات أخرى معروفة على الويب ليتم الزحف إليها وفهرستها أو إرسالها يدويًا بواسطة مشرف الموقع.
غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم خطط استضافة ويب ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص للمواقع المتطابقة [الإنجليزية] والتي تستضيف مساحة كبيرة بمقياس جيجابايت من البيانات. توفر جوجل خدمة "تحكم البحث" والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.[8]
عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستخدم فريق تطوير جوجل بوت (فريق الزحف والفهرسة) العديد من المصطلحات المحددة داخليًا لتولي مسؤولية "ميزانية الزحف".[9] منذ مايو 2019، يستخدم جوجل بوت أحدث محرك عرض من كروميوم، والذي يدعم ميزات إي سي إم إيه سكريبت 6. سيؤدي هذا إلى جعل الروبوت "دائم الحداثة" بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.[10]
ميديابوت
ميديابوت هو زاحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى يتمكن جوجل أدسنس من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستخدم "Mediapartners-Google / 2.1".
على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي.
مراجع
- ^ أ ب وصلة مرجع: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot.
- ^ "Googlebot". Google. 11 مارس 2019. مؤرشف من الأصل في 2020-12-12. اطلع عليه بتاريخ 2019-03-11.
- ^ أ ب "Google Search Console". Google.com. مؤرشف من الأصل في 2020-12-14.
- ^ "Google Search Console". search.google.com. مؤرشف من الأصل في 2020-12-14. اطلع عليه بتاريخ 2019-03-11.
- ^ "Understand the JavaScript SEO basics | Search for Developers". Google Developers (بالإنجليزية). Archived from the original on 2020-11-03. Retrieved 2020-07-26.
- ^ Splitt، Martin. "How Google Search indexes JavaScript sites - JavaScript SEO". YouTube. مؤرشف من الأصل في 2020-11-08.
- ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (بالإنجليزية). Archived from the original on 2020-11-06. Retrieved 2019-06-07.
- ^ "Google - Webmasters". Google.com. مؤرشف من الأصل في 2020-12-12. اطلع عليه بتاريخ 2012-12-15.
- ^ "What Crawl Budget Means for Googlebot". Official Google Webmaster Central Blog (بالإنجليزية الأمريكية). Retrieved 2018-07-04.
- ^ "The new evergreen Googlebot". Official Google Webmaster Central Blog (بالإنجليزية). Retrieved 2019-06-17.
