robots.txt zakazuje OAI-SearchBot

Krátka odpoveď

Váš robots.txt má pravidlo Disallow, ktoré sa pre token tohto crawlera zhoduje s touto stránkou. Audit postupuje podľa RFC 9309: vlastná skupina crawlera, ak ju má, inak skupina *, a vyhráva najdlhšie zhodné pravidlo. Ak chcete crawlera pustiť, pridajte preň Allow alebo pravidlo odstráňte.

robots.disallowed · Priorita: P1–P3, podľa typu crawlera

Čo to znamená

Pravidlá vo vašom robots.txt bránia crawleru OAI-SearchBot stiahnuť /.

Prečo je to dôležité pre AI vyhľadávanie

Slušné AI crawlery dodržiavajú robots.txt. Ak sú OAI-SearchBot, Claude-SearchBot alebo PerplexityBot zakázané, stránka sa pre ich vyhľadávacie indexy nesťahuje, takže sa nedá citovať v ich odpovediach. Zákaz tréningových tokenov ako GPTBot, ClaudeBot, Google-Extended alebo Applebot-Extended zastaví len použitie na trénovanie modelov.

Mnohé weby blokujú AI crawlery omylom: šablóna, ktorá zakazuje všetko okrem Googlebota, alebo skupina User-agent: * s Disallow: /, ktorá zostala zo stagingu. Pozor, Applebot používa skupinu Googlebota, keď nemá vlastnú.

Ako to opraviť

  1. Nájdite pravidlo v zistení: uvádza token crawlera a cestu. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
  2. Odstráňte token crawlera zo všetkých skupín, ktoré stránku zakazujú, a potom mu pridajte vlastnú skupinu s Allow: /. Konkrétna skupina nahrádza pre daného crawlera skupinu *, takže pravidlá pod * sa naň už nevzťahujú.
  3. Vo WordPresse skontrolujte, či je robots.txt skutočný súbor v koreňovom adresári webu, alebo ho generuje SEO plugin ako Yoast či Rank Math, a upravte ho tam. V Shopify upravte šablónu témy robots.txt.liquid.
  4. V Cloudflare skontrolujte, či spravované nastavenie robots.txt nepridáva pravidlá pre AI crawlery nad váš vlastný súbor.
  5. Ak je to vaša politika, nechajte tréningové tokeny zakázané; nemá to vplyv na vyhľadávacie crawlery, ktoré používajú samostatné tokeny.

Príklad

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Ako overiť opravu

Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.

Skontrolovať moju stránku →

Súvisiace návody

Všetky zistenia a ako funguje skóre