robots.txt prepoveduje OAI-SearchBot

Kratek odgovor

Vaš robots.txt vsebuje pravilo Disallow, ki za oznako tega pajka ustreza tej strani. Analiza uporablja RFC 9309: lastno skupino pajka, če jo ima, sicer skupino *, pri čemer zmaga najdaljše ujemajoče se pravilo. Če želite pajka spustiti, zanj dodajte Allow ali odstranite pravilo.

robots.disallowed · Prioriteta: P1–P3, glede na vrsto pajka

Kaj pomeni

Pravila v vašem robots.txt preprečujejo, da bi OAI-SearchBot prenesel /.

Zakaj je to pomembno za iskanje z UI

Pajki UI, ki spoštujejo pravila, upoštevajo robots.txt. Če so OAI-SearchBot, Claude-SearchBot ali PerplexityBot prepovedani, stran ni prenesena v njihove iskalne indekse, zato je v njihovih odgovorih ni mogoče citirati. Prepoved oznak za učenje, kot so GPTBot, ClaudeBot, Google-Extended ali Applebot-Extended, ustavi le uporabo za učenje modelov.

Številna spletna mesta pajke UI blokirajo po nesreči: s predlogo, ki prepove vse razen Googlebota, ali s skupino User-agent: * z Disallow: /, ki je ostala iz testnega okolja. Upoštevajte, da Applebot uporabi skupino Googlebot, kadar nima lastne skupine.

Kako to popraviti

  1. Poiščite pravilo v ugotovitvi: navaja oznako pajka in pot. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
  2. Oznako pajka odstranite iz vseh skupin, ki stran prepovedujejo, nato zanj dodajte lastno skupino z Allow: /. Posebna skupina za tega pajka nadomesti skupino *, zato pravila pod * zanj ne veljajo več.
  3. V WordPressu preverite, ali je robots.txt prava datoteka v korenski mapi spletnega mesta ali pa ga ustvarja vtičnik SEO, kot sta Yoast ali Rank Math, in ga uredite tam. V Shopifyju uredite predlogo teme robots.txt.liquid.
  4. V Cloudflaru preverite, ali upravljana nastavitev robots.txt vaši datoteki dodaja pravila za pajke UI.
  5. Če je to vaša politika, pustite oznake za učenje prepovedane; to ne vpliva na pajke za iskanje, ki uporabljajo ločene oznake.

Primer

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Kako potrditi popravek

Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.

Preveri mojo stran →

Sorodni vodniki

Vse ugotovitve in kako deluje ocena