Googlebot
Googlebot on Googlen pääasiallinen robotti hakuindeksien rakentamiseen. Google kertoo, että Googlebotin robots.txt-säännöt ohjaavat sitä, miten sivustoa käydään läpi hakua varten, myös tekoälyominaisuuksia kuten tekoälytiivistelmiä ja tekoälytilaa varten. Sen estäminen poistaa sivusi Google-hausta ja näistä tekoälyvastauksista.
Mitä se tekee
Googlebotia käytetään tiedon löytämiseen Googlen hakuindeksien rakentamiseksi. Googlebot-tunnukselle osoitetut läpikäyntiasetukset vaikuttavat Google-hakuun ja tuotteisiin kuten Google Kuvat, Video, Google Uutiset ja Discover. Se toimii sekä älypuhelin- että tietokonerobottina; molemmat noudattavat samoja Googlebotin sääntöjä, ja Google kertoo yleisten robottiensa noudattavan aina robots.txt-tiedostoa automaattisessa läpikäynnissä.
Googlen tekoälyominaisuuksia käsittelevä dokumentaatio kuvaa Googlebotin säännöt haun ohjauskeinona, myös tekoälytiivistelmien ja tekoälytilan osalta, ja viittaa nosnippet-, data-nosnippet-, max-snippet- ja noindex-määreisiin näytettävän sisällön rajoittamiseksi. Käyttöä Gemini-koulutukseen ohjataan erikseen Google-Extendedilla.
2026-11 tekemässämme tutkimuksessa 2.7% suosituista sivustoista, joilla on robots.txt, esti sen. →
robots.txt-tunnus
Googlebot
User agent -merkkijono
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Miten sen sallii
User-agent: Googlebot
Allow: /Miten sen estää
User-agent: Googlebot
Disallow: /Miten aidot käynnit varmistetaan
Google toteaa, että user agent -merkkijonoja voi väärentää, ja suosittelee kaksivaiheista DNS-tarkistusta. Tee käänteinen DNS-haku pyynnön IP-osoitteelle: isäntänimen pitäisi päättyä googlebot.com-, google.com- tai googleusercontent.com-päätteeseen. Tee sitten suora haku tälle isäntänimelle ja varmista, että se palauttaa saman IP:n. Google julkaisee myös yleisten robottiensa IP-alueet JSON-muodossa, joten osoitteita voi verrata automaattisesti.
Tarkista, päästääkö sivustosi sen sisään →
AEO vai SEO: mikä on samaa ja mikä muuttuu tekoälyvastauksissa →