Googlebot
A Googlebot a Google fő crawlere a keresési indexek építéséhez. A Google szerint a Googlebotra vonatkozó robots.txt-szabályok szabályozzák, hogyan járják be a webhelyet a Keresőhöz, beleértve az AI-funkciókat, például az AI Overviewst és az AI Módot. Ha letiltja, az oldalai eltűnnek a Google Keresőből és ezekből az AI-válaszokból.
Mit csinál
A Googlebot az információk megtalálására szolgál a Google keresési indexeinek felépítéséhez. A Googlebot tokenre címzett bejárási beállítások hatással vannak a Google Keresőre és az olyan termékekre, mint a Google Képek, a Videó, a Google Hírek és a Discover. Okostelefonos és asztali crawlerként is fut; mindkettő ugyanazokat a Googlebot-szabályokat követi, és a Google szerint a gyakori crawlerei automatikus bejáráskor mindig betartják a robots.txt fájlt.
A Google AI-funkciókról szóló dokumentációja a Googlebot szabályait nevezi meg a Keresés vezérlőjeként, beleértve az AI Overviewst és az AI Módot, és a nosnippet, data-nosnippet, max-snippet és noindex használatát javasolja a megjelenített tartalom korlátozására. A Gemini-tanításra való felhasználást külön a Google-Extended szabályozza.
A 2026-11 havi vizsgálatunkban a robots.txt-vel rendelkező népszerű webhelyek 2.7% letiltotta. →
robots.txt token
Googlebot
User-agent karakterlánc
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Hogyan engedélyezheti
User-agent: Googlebot
Allow: /Hogyan tilthatja le
User-agent: Googlebot
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A Google szerint a user agent karakterláncok hamisíthatók, ezért kétlépéses DNS-ellenőrzést javasol. Végezzen fordított DNS-lekérdezést a kérő IP-címre: a gazdagépnévnek googlebot.com, google.com vagy googleusercontent.com végződésűnek kell lennie. Ezután végezzen előre irányuló lekérdezést erre a gazdagépnévre, és győződjön meg róla, hogy ugyanazt az IP-címet adja vissza. A Google a szokásos crawlerei IP-tartományait JSON-ként is közzéteszi, így a címeket automatikusan összevetheti.