Googlebot
Googlebot adalah crawler utama Google untuk membangun indeks pencariannya. Google menyatakan aturan robots.txt untuk Googlebot adalah kontrol bagaimana situs di-crawl untuk Search, termasuk fitur AI seperti AI Overviews dan AI Mode. Memblokirnya menghapus halaman Anda dari Google Search dan jawaban AI tersebut.
Fungsinya
Googlebot digunakan untuk menemukan informasi guna membangun indeks pencarian Google. Preferensi crawling yang ditujukan ke token Googlebot memengaruhi Google Search dan produk seperti Google Images, Video, Google News, dan Discover. Googlebot berjalan sebagai crawler smartphone dan desktop; keduanya mengikuti aturan Googlebot yang sama, dan Google menyatakan crawler umumnya selalu mematuhi robots.txt saat meng-crawl secara otomatis.
Dokumentasi Google tentang fitur AI menyebut aturan Googlebot sebagai kontrol untuk Search, termasuk AI Overviews dan AI Mode, dan merujuk ke nosnippet, data-nosnippet, max-snippet, dan noindex untuk membatasi apa yang ditampilkan. Penggunaan untuk pelatihan Gemini dikendalikan terpisah oleh Google-Extended.
Dalam studi kami pada 2026-11, 2.7% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
Googlebot
String user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Cara mengizinkannya
User-agent: Googlebot
Allow: /Cara memblokirnya
User-agent: Googlebot
Disallow: /Cara memverifikasi kunjungan asli
Google menyatakan string user agent dapat dipalsukan dan merekomendasikan pemeriksaan DNS dua langkah. Lakukan pencarian DNS terbalik pada IP yang meminta: nama host harus berakhiran googlebot.com, google.com, atau googleusercontent.com. Lalu lakukan pencarian maju pada nama host itu dan pastikan hasilnya IP yang sama. Google juga mempublikasikan rentang IP crawler umumnya sebagai JSON, sehingga Anda dapat mencocokkan alamat secara otomatis.
Periksa apakah situs Anda mengizinkannya →
AEO vs SEO: apa yang sama dan apa yang berubah untuk jawaban AI →