robots.txt zabranjuje OAI-SearchBot

Kratki odgovor

Vaš robots.txt ima pravilo Disallow koje se za token ovog crawlera podudara s ovom stranicom. Revizija primjenjuje RFC 9309: vlastitu grupu crawlera ako je ima, inače grupu *, a prednost ima najdulje podudarno pravilo. Dodajte Allow za crawler ili uklonite pravilo ako želite da ima pristup.

robots.disallowed · Prioritet: P1–P3, prema vrsti crawlera

Što to znači

Pravila u vašem robots.txt sprječavaju OAI-SearchBot da dohvati /.

Zašto je to važno za AI pretraživanje

AI crawleri koji se pridržavaju pravila poštuju robots.txt. Ako su OAI-SearchBot, Claude-SearchBot ili PerplexityBot zabranjeni, stranica se ne dohvaća za njihove indekse pretraživanja, pa se ne može citirati u njihovim odgovorima. Zabrana tokena za treniranje poput GPTBot, ClaudeBot, Google-Extended ili Applebot-Extended samo sprječava upotrebu za treniranje modela.

Mnoge web-stranice slučajno blokiraju AI crawlere: predložak koji zabranjuje sve osim Googlebota ili grupa User-agent: * s Disallow: / zaostala iz probnog okruženja. Imajte na umu da Applebot koristi grupu za Googlebot kada nema vlastitu.

Kako to ispraviti

  1. Pronađite pravilo u nalazu: navodi token crawlera i putanju. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
  2. Uklonite token crawlera iz svake grupe koja zabranjuje stranicu, a zatim dodajte njegovu vlastitu grupu s Allow: /. Posebna grupa zamjenjuje grupu * za taj crawler, pa se pravila pod * na njega više ne primjenjuju.
  3. U WordPressu provjerite je li robots.txt stvarna datoteka u korijenskom direktoriju weba ili ga generira SEO dodatak poput Yoasta ili Rank Matha i uredite ga ondje. U Shopifyju uredite predložak teme robots.txt.liquid.
  4. Na Cloudflareu provjerite dodaje li upravljana postavka robots.txt pravila za AI crawlere povrh vaše datoteke.
  5. Ostavite tokene za treniranje zabranjenima ako su takva vaša pravila; to ne utječe na crawlere za pretraživanje, koji koriste zasebne tokene.

Primjer

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Kako potvrditi ispravak

Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.

Provjeri moju stranicu →

Povezani vodiči

Svi nalazi i kako se računa ocjena