robots.txt prepoveduje OAI-SearchBot
Vaš robots.txt vsebuje pravilo Disallow, ki za oznako tega pajka ustreza tej strani. Analiza uporablja RFC 9309: lastno skupino pajka, če jo ima, sicer skupino *, pri čemer zmaga najdaljše ujemajoče se pravilo. Če želite pajka spustiti, zanj dodajte Allow ali odstranite pravilo.
Kaj pomeni
Pravila v vašem robots.txt preprečujejo, da bi OAI-SearchBot prenesel /.
Zakaj je to pomembno za iskanje z UI
Pajki UI, ki spoštujejo pravila, upoštevajo robots.txt. Če so OAI-SearchBot, Claude-SearchBot ali PerplexityBot prepovedani, stran ni prenesena v njihove iskalne indekse, zato je v njihovih odgovorih ni mogoče citirati. Prepoved oznak za učenje, kot so GPTBot, ClaudeBot, Google-Extended ali Applebot-Extended, ustavi le uporabo za učenje modelov.
Številna spletna mesta pajke UI blokirajo po nesreči: s predlogo, ki prepove vse razen Googlebota, ali s skupino User-agent: * z Disallow: /, ki je ostala iz testnega okolja. Upoštevajte, da Applebot uporabi skupino Googlebot, kadar nima lastne skupine.
Kako to popraviti
- Poiščite pravilo v ugotovitvi: navaja oznako pajka in pot. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
- Oznako pajka odstranite iz vseh skupin, ki stran prepovedujejo, nato zanj dodajte lastno skupino z
Allow: /. Posebna skupina za tega pajka nadomesti skupino*, zato pravila pod*zanj ne veljajo več. - V WordPressu preverite, ali je robots.txt prava datoteka v korenski mapi spletnega mesta ali pa ga ustvarja vtičnik SEO, kot sta Yoast ali Rank Math, in ga uredite tam. V Shopifyju uredite predlogo teme
robots.txt.liquid. - V Cloudflaru preverite, ali upravljana nastavitev robots.txt vaši datoteki dodaja pravila za pajke UI.
- Če je to vaša politika, pustite oznake za učenje prepovedane; to ne vpliva na pajke za iskanje, ki uporabljajo ločene oznake.
Primer
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.