robots.txt keelab roboti OAI-SearchBot

Lühike vastus

Sinu robots.txt-s on Disallow-reegel, mis sobib selle lehega selle roboti tunnuse jaoks. Audit rakendab RFC 9309 reegleid: roboti oma grupp, kui see on olemas, muidu * grupp, ja võidab pikim sobiv reegel. Lisa robotile Allow või eemalda reegel, kui soovid robotit sisse lasta.

robots.disallowed · Prioriteet: P1–P3, sõltuvalt roboti tüübist

Mida see tähendab

Sinu robots.txt reeglid takistavad robotil OAI-SearchBot laadimast lehte /.

Miks see AI-otsingu jaoks oluline on

Korralikud AI-robotid järgivad robots.txt-d. Kui OAI-SearchBot, Claude-SearchBot või PerplexityBot on keelatud, ei laadita lehte nende otsinguindeksitesse, seega ei saa seda nende vastustes tsiteerida. Treeningtunnuste, nagu GPTBot, ClaudeBot, Google-Extended või Applebot-Extended, keelamine peatab ainult kasutamise mudelite treenimiseks.

Paljud saidid blokeerivad AI-roboteid kogemata: mall, mis keelab kõik peale Googleboti, või testkeskkonnast üle jäänud User-agent: * grupp koos reegliga Disallow: /. Pane tähele, et Applebot kasutab Googleboti gruppi, kui tal oma gruppi pole.

Kuidas seda parandada

  1. Leia reegel leiust: see nimetab roboti tunnuse ja tee. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
  2. Eemalda roboti tunnus igast grupist, mis lehte keelab, ja lisa sellele oma grupp reegliga Allow: /. Konkreetne grupp asendab selle roboti jaoks * grupi, seega * all olevad reeglid sellele enam ei kehti.
  3. WordPressis kontrolli, kas robots.txt on päris fail veebi juurkaustas või genereerib selle SEO-plugin, nagu Yoast või Rank Math, ja muuda seda seal. Shopifys muuda teema malli robots.txt.liquid.
  4. Cloudflare'is kontrolli, kas hallatud robots.txt seade lisab sinu oma faili peale AI-robotite reegleid.
  5. Jäta treeningtunnused keelatuks, kui see on sinu poliitika; see ei mõjuta otsingu-roboteid, mis kasutavad eraldi tunnuseid.

Näide

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Kuidas parandust kinnitada

Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.

Kontrolli minu lehte →

Seotud juhendid

Kõik leiud ja kuidas skoor arvutatakse