robots.txt zakazuje OAI-SearchBot
Váš robots.txt má pravidlo Disallow, ktoré sa pre token tohto crawlera zhoduje s touto stránkou. Audit postupuje podľa RFC 9309: vlastná skupina crawlera, ak ju má, inak skupina *, a vyhráva najdlhšie zhodné pravidlo. Ak chcete crawlera pustiť, pridajte preň Allow alebo pravidlo odstráňte.
Čo to znamená
Pravidlá vo vašom robots.txt bránia crawleru OAI-SearchBot stiahnuť /.
Prečo je to dôležité pre AI vyhľadávanie
Slušné AI crawlery dodržiavajú robots.txt. Ak sú OAI-SearchBot, Claude-SearchBot alebo PerplexityBot zakázané, stránka sa pre ich vyhľadávacie indexy nesťahuje, takže sa nedá citovať v ich odpovediach. Zákaz tréningových tokenov ako GPTBot, ClaudeBot, Google-Extended alebo Applebot-Extended zastaví len použitie na trénovanie modelov.
Mnohé weby blokujú AI crawlery omylom: šablóna, ktorá zakazuje všetko okrem Googlebota, alebo skupina User-agent: * s Disallow: /, ktorá zostala zo stagingu. Pozor, Applebot používa skupinu Googlebota, keď nemá vlastnú.
Ako to opraviť
- Nájdite pravidlo v zistení: uvádza token crawlera a cestu. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
- Odstráňte token crawlera zo všetkých skupín, ktoré stránku zakazujú, a potom mu pridajte vlastnú skupinu s
Allow: /. Konkrétna skupina nahrádza pre daného crawlera skupinu*, takže pravidlá pod*sa naň už nevzťahujú. - Vo WordPresse skontrolujte, či je robots.txt skutočný súbor v koreňovom adresári webu, alebo ho generuje SEO plugin ako Yoast či Rank Math, a upravte ho tam. V Shopify upravte šablónu témy
robots.txt.liquid. - V Cloudflare skontrolujte, či spravované nastavenie robots.txt nepridáva pravidlá pre AI crawlery nad váš vlastný súbor.
- Ak je to vaša politika, nechajte tréningové tokeny zakázané; nemá to vplyv na vyhľadávacie crawlery, ktoré používajú samostatné tokeny.
Príklad
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.