robots.txt zabranjuje OAI-SearchBot
Vaš robots.txt ima pravilo Disallow koje se za token ovog crawlera podudara s ovom stranicom. Revizija primjenjuje RFC 9309: vlastitu grupu crawlera ako je ima, inače grupu *, a prednost ima najdulje podudarno pravilo. Dodajte Allow za crawler ili uklonite pravilo ako želite da ima pristup.
Što to znači
Pravila u vašem robots.txt sprječavaju OAI-SearchBot da dohvati /.
Zašto je to važno za AI pretraživanje
AI crawleri koji se pridržavaju pravila poštuju robots.txt. Ako su OAI-SearchBot, Claude-SearchBot ili PerplexityBot zabranjeni, stranica se ne dohvaća za njihove indekse pretraživanja, pa se ne može citirati u njihovim odgovorima. Zabrana tokena za treniranje poput GPTBot, ClaudeBot, Google-Extended ili Applebot-Extended samo sprječava upotrebu za treniranje modela.
Mnoge web-stranice slučajno blokiraju AI crawlere: predložak koji zabranjuje sve osim Googlebota ili grupa User-agent: * s Disallow: / zaostala iz probnog okruženja. Imajte na umu da Applebot koristi grupu za Googlebot kada nema vlastitu.
Kako to ispraviti
- Pronađite pravilo u nalazu: navodi token crawlera i putanju. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
- Uklonite token crawlera iz svake grupe koja zabranjuje stranicu, a zatim dodajte njegovu vlastitu grupu s
Allow: /. Posebna grupa zamjenjuje grupu*za taj crawler, pa se pravila pod*na njega više ne primjenjuju. - U WordPressu provjerite je li robots.txt stvarna datoteka u korijenskom direktoriju weba ili ga generira SEO dodatak poput Yoasta ili Rank Matha i uredite ga ondje. U Shopifyju uredite predložak teme
robots.txt.liquid. - Na Cloudflareu provjerite dodaje li upravljana postavka robots.txt pravila za AI crawlere povrh vaše datoteke.
- Ostavite tokene za treniranje zabranjenima ako su takva vaša pravila; to ne utječe na crawlere za pretraživanje, koji koriste zasebne tokene.
Primjer
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.