Změnili jste robots.txt? Podívejte se, jak ho čte každý AI crawler
Jeden řádek ve špatné skupině může zablokovat vyhledávání ChatGPT, i když jste chtěli blokovat jen trénování AI. Zkontrolujte výsledek pro 16 crawlerů.
Zdarma · Bez registrace · Výsledek za 30 sekund
Která skupina platí
Crawler se řídí skupinou, která ho jmenuje, ne skupinou *, což mnoho majitelů webů překvapí.
Vyhledávání versus trénování
Zablokujte trénovací crawlery, pokud chcete, a ponechte ty, díky kterým se objevujete v odpovědích AI vyhledávání.
Přesná oprava
Řádky ke změně, připravené ke vložení, a nová kontrola pro potvrzení.
Po přechodu na Cloudflare · Po redesignu · Po přechodu na Shopify