يمكنك التعرّف على النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على عنوان طلب HTTP الخاص بالسمة user-agent
في الطلب، إلا أنّ كِلا نوعَي الزاحف يستجيبان للرمز المميز نفسه للمنتج (الرمز المميز لوكيل المستخدم) في
ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي "Googlebot للهواتف الذكية" أو "Googlebot
للكمبيوتر المكتبي" باستخدام ملف robots.txt.
بالنسبة إلى معظم المواقع الإلكترونية، من المفترَض ألا يزحف برنامج Googlebot إلى الموقع الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات. إذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك خفض معدّل الزحف.
يمكن لبرنامج Googlebot الزحف إلى أول 15 ميغابايت من ملف HTML أو
ملف نصي متوافق.
يتم استرجاع كل مورد تتم الإشارة إليه في ملف HTML، مثل CSS وJavaScript، بشكل منفصل ويتم تطبيق الحد المسموح به نفسه لحجم الملف على كل عملية استرجاع. بعد الزحف إلى أول 15 ميغابايت من الملف، يتوقف Googlebot عن الزحف ويرسل فقط
هذا الجزء من المحتوى ليتم أخذه في الاعتبار أثناء الفهرسة. يتم تطبيق الحدّ المسموح به لحجم الملف على البيانات غير المضغوطة. وقد يتم تطبيق حدود مختلفة لبرامج الزحف الأخرى من Google، مثل "Googlebot للفيديوهات" و"Googlebot للصور".
عند الزحف من عناوين IP في الولايات المتحدة، تكون المنطقة الزمنية لبرنامج Googlebot هي
توقيت المحيط الهادئ.
يكتشف برنامج Googlebot عناوين URL الجديدة للزحف إليها في المقام الأول من الروابط المضمَّنة في الصفحات التي تم الزحف إليها في السابق.
يستحيل تقريبًا إبقاء أحد المواقع الإلكترونية سريًا من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما
ينقر مستخدم على رابط من موقعك الإلكتروني "السري" لينتقل إلى موقع إلكتروني آخر، قد يظهر عنوان URL للموقع الإلكتروني "السري"
في علامة المُحيل وقد يحفظه الموقع الإلكتروني الآخر وينشره في سجل المُحيل الخاص به.
تتوفّر خيارات متعددة لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. تجدر الإشارة إلى أنّ هناك فرقًا بين الزحف والفهرسة، وبالتالي، لا يؤدي منع Googlebot من الزحف إلى صفحة معيَّنة إلى منع ظهور عنوان URL للصفحة في نتائج البحث:
هل يهمّك منع Googlebot من الزحف إلى إحدى الصفحات؟ استخدِم ملف robots.txt.
هل يهمّك منع Google من فهرسة إحدى الصفحات؟ استخدِم noindex.
عند حظر برنامج Googlebot، يتأثّر "بحث Google" (بما في ذلك ميزة "اقتراحات" وجميع ميزات "بحث Google")، بالإضافة إلى منتجات أخرى مثل "صور بحث Google" والفيديوهات على Google و"أخبار Google".
التحقق من أنّ مصدر الطلبات هو برنامج Googlebot
قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل
برامج زحف أخرى هوية عنوان طلب HTTP الخاص بالسمة user-agent والذي يستخدمه Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة
صادر من Google. وأفضل طريقة للتحقق من أنّ الطلب صادر من
Googlebot هي
استخدام بحث نظام أسماء النطاقات العكسي
على عنوان IP المصدر للطلب أو مطابقة عنوان IP المصدر مع
نطاقات عناوين IP التي يستخدمها Googlebot.
تاريخ التعديل الأخير: 2025-08-04 (حسب التوقيت العالمي المتفَّق عليه)
[[["يسهُل فهم المحتوى.","easyToUnderstand","thumb-up"],["ساعَدني المحتوى في حلّ مشكلتي.","solvedMyProblem","thumb-up"],["غير ذلك","otherUp","thumb-up"]],[["لا يحتوي على المعلومات التي أحتاج إليها.","missingTheInformationINeed","thumb-down"],["الخطوات معقدة للغاية / كثيرة جدًا.","tooComplicatedTooManySteps","thumb-down"],["المحتوى قديم.","outOfDate","thumb-down"],["ثمة مشكلة في الترجمة.","translationIssue","thumb-down"],["مشكلة في العيّنات / التعليمات البرمجية","samplesCodeIssue","thumb-down"],["غير ذلك","otherDown","thumb-down"]],["تاريخ التعديل الأخير: 2025-08-04 (حسب التوقيت العالمي المتفَّق عليه)"],[[["\u003cp\u003eGooglebot is the name for Google's web crawlers, which include Googlebot Smartphone and Googlebot Desktop, used to understand and index website content.\u003c/p\u003e\n"],["\u003cp\u003eGooglebot primarily crawls and indexes the mobile version of websites, reflecting the dominance of mobile browsing.\u003c/p\u003e\n"],["\u003cp\u003eWebsite owners can control Googlebot's access by using robots.txt to manage crawl rate and prevent crawling of specific content.\u003c/p\u003e\n"],["\u003cp\u003eWhile blocking Googlebot prevents crawling, it doesn't automatically remove a page from Google Search results; \u003ccode\u003enoindex\u003c/code\u003e should be used for that purpose.\u003c/p\u003e\n"],["\u003cp\u003eIt's crucial to verify the authenticity of Googlebot requests as its user agent is frequently imitated by other crawlers.\u003c/p\u003e\n"]]],["Googlebot, comprising Desktop and Smartphone crawlers, indexes web content, primarily favoring the mobile version. It crawls most sites at a rate of once every few seconds, fetching up to 15MB of HTML or text-based files and their resources. To manage Googlebot's access, sites can use `robots.txt` to block crawling or `noindex` to prevent indexing. Blocking crawling affects Google Search and related products. Verify Googlebot requests via reverse DNS lookup or by checking the IP range.\n"],null,["# What Is Googlebot | Google Search Central\n\nGooglebot\n=========\n\n\nGooglebot is the generic name for two types of\n[web crawlers](/search/docs/fundamentals/how-search-works) used by Google Search:\n\n- [**Googlebot Smartphone**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-smartphone): a mobile crawler that simulates a user on a mobile device.\n- [**Googlebot Desktop**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-desktop): a desktop crawler that simulates a user on desktop.\n\n\nYou can identify the subtype of Googlebot by looking at the\n[HTTP `user-agent` request header](/search/docs/crawling-indexing/overview-google-crawlers)\nin the request. However, both crawler types obey the same product token (user agent token) in\nrobots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot\nDesktop using robots.txt.\n\n\nFor most sites Google Search primarily\n[indexes the mobile version](/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing)\nof the content. As such the majority of Googlebot crawl requests will be made using the mobile\ncrawler, and a minority using the desktop crawler.\n\nHow Googlebot accesses your site\n--------------------------------\n\n\nFor most sites, Googlebot shouldn't access your site more than once every few seconds on\naverage. However, due to delays it's possible that the rate will appear to be slightly higher\nover short periods. If your site is having trouble keeping up with Google's crawling requests, you\ncan [reduce the crawl rate.](/search/docs/crawling-indexing/reduce-crawl-rate)\n\n\nGooglebot can crawl the first 15MB of an HTML file or\n[supported text-based file](/search/docs/crawling-indexing/indexable-file-types).\nEach resource referenced in the HTML such as CSS and JavaScript is fetched separately, and\neach fetch is bound by the same file size limit. After the first 15MB of the file, Googlebot\nstops crawling and only sends the first 15MB of the file for indexing consideration. The file size\nlimit is applied on the uncompressed data. Other Google crawlers, for example Googlebot Video and\nGooglebot Image, may have different limits.\n\n\nWhen crawling from IP addresses in the US, the timezone of Googlebot is\n[Pacific Time](https://g.co/kgs/WSf8oR).\n\n\nOther\n[technical properties of Googlebot](/search/docs/crawling-indexing/overview-google-crawlers#crawl-technical-props)\nare described in the overview of Google's crawlers.\n\nBlocking Googlebot from visiting your site\n------------------------------------------\n\n\nGooglebot discovers new URLs to crawl primarily from links embedded in previously crawled pages.\nIt's almost impossible to keep a site secret by not publishing links to it. For example, as soon\nas someone clicks a link from your \"secret\" site to another site, your \"secret\" site URL may\nappear in the referrer tag and can be stored and published by the other site in its referrer log.\n\n\nIf you want to prevent Googlebot from crawling content on your site, you have a\n[number of options](/search/docs/crawling-indexing/control-what-you-share). Remember\nthere's a difference between *crawling* and *indexing*; blocking Googlebot from crawling\na page doesn't prevent the URL of the page from appearing in search results:\n\n- **Prevent Googlebot from crawling a page?** Use a [robots.txt file](/search/docs/crawling-indexing/robots/intro).\n- **Don't want Google to index a page?** Use [`noindex`](/search/docs/crawling-indexing/block-indexing).\n- **Prevent a page from being accessible at all by both crawlers or users?** Use [another method, such as password protection](/search/docs/crawling-indexing/control-what-you-share).\n\n\nBlocking Googlebot affects Google Search (including Discover and all Google Search features), as\nwell as other products such as Google Images, Google Video, and Google News.\n\nVerifying Googlebot\n-------------------\n\n\nBefore you decide to block Googlebot, be aware that the HTTP `user-agent` request\nheader used by Googlebot is often spoofed by other crawlers. It's important to verify that a\nproblematic request actually comes from Google. The best way to verify that a request actually\ncomes from Googlebot is to\n[use a reverse DNS lookup](/search/docs/crawling-indexing/verifying-googlebot#manual)\non the source IP of the request, or to match the source IP against the\n[Googlebot IP ranges](/search/docs/crawling-indexing/verifying-googlebot#use-automatic-solutions)."]]
