robots.txt keelab roboti OAI-SearchBot
Sinu robots.txt-s on Disallow-reegel, mis sobib selle lehega selle roboti tunnuse jaoks. Audit rakendab RFC 9309 reegleid: roboti oma grupp, kui see on olemas, muidu * grupp, ja võidab pikim sobiv reegel. Lisa robotile Allow või eemalda reegel, kui soovid robotit sisse lasta.
Mida see tähendab
Sinu robots.txt reeglid takistavad robotil OAI-SearchBot laadimast lehte /.
Miks see AI-otsingu jaoks oluline on
Korralikud AI-robotid järgivad robots.txt-d. Kui OAI-SearchBot, Claude-SearchBot või PerplexityBot on keelatud, ei laadita lehte nende otsinguindeksitesse, seega ei saa seda nende vastustes tsiteerida. Treeningtunnuste, nagu GPTBot, ClaudeBot, Google-Extended või Applebot-Extended, keelamine peatab ainult kasutamise mudelite treenimiseks.
Paljud saidid blokeerivad AI-roboteid kogemata: mall, mis keelab kõik peale Googleboti, või testkeskkonnast üle jäänud User-agent: * grupp koos reegliga Disallow: /. Pane tähele, et Applebot kasutab Googleboti gruppi, kui tal oma gruppi pole.
Kuidas seda parandada
- Leia reegel leiust: see nimetab roboti tunnuse ja tee. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
- Eemalda roboti tunnus igast grupist, mis lehte keelab, ja lisa sellele oma grupp reegliga
Allow: /. Konkreetne grupp asendab selle roboti jaoks*grupi, seega*all olevad reeglid sellele enam ei kehti. - WordPressis kontrolli, kas robots.txt on päris fail veebi juurkaustas või genereerib selle SEO-plugin, nagu Yoast või Rank Math, ja muuda seda seal. Shopifys muuda teema malli
robots.txt.liquid. - Cloudflare'is kontrolli, kas hallatud robots.txt seade lisab sinu oma faili peale AI-robotite reegleid.
- Jäta treeningtunnused keelatuks, kui see on sinu poliitika; see ei mõjuta otsingu-roboteid, mis kasutavad eraldi tunnuseid.
Näide
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Kuidas parandust kinnitada
Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.