robots.txt no permet OAI-SearchBot
El teu robots.txt té una regla Disallow que coincideix amb aquesta pàgina per al token d'aquest rastrejador. L'auditoria aplica l'RFC 9309: el grup propi del rastrejador si en té, si no el grup *, i guanya la regla coincident més llarga. Afegeix un Allow per al rastrejador o elimina la regla si el vols deixar entrar.
Què vol dir
Les regles del teu robots.txt impedeixen que OAI-SearchBot obtingui /.
Per què és important per a la cerca amb IA
Els rastrejadors d'IA ben comportats respecten robots.txt. Si OAI-SearchBot, Claude-SearchBot o PerplexityBot no estan permesos, la pàgina no s'obté per als seus índexs de cerca i, per tant, no es pot citar a les seves respostes. No permetre tokens d'entrenament com GPTBot, ClaudeBot, Google-Extended o Applebot-Extended només n'impedeix l'ús per entrenar models.
Molts llocs bloquegen rastrejadors d'IA sense voler: una plantilla que no permet res excepte Googlebot, o un grup User-agent: * amb Disallow: / que ha quedat de l'entorn de proves. Tingues en compte que Applebot fa servir el grup de Googlebot quan no en té cap de propi.
Com corregir-ho
- Busca la regla a la troballa: indica el token del rastrejador i la ruta. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
- Treu el token del rastrejador de qualsevol grup que no permeti la pàgina i afegeix-li un grup propi amb
Allow: /. Un grup específic substitueix el grup*per a aquell rastrejador, així que les regles de*deixen d'aplicar-s'hi. - A WordPress, comprova si robots.txt és un fitxer real a l'arrel del web o si el genera un plugin de SEO com Yoast o Rank Math, i edita'l allà. A Shopify, edita la plantilla del tema
robots.txt.liquid. - A Cloudflare, comprova si un ajust de robots.txt gestionat afegeix regles per a rastrejadors d'IA a sobre del teu fitxer.
- Mantén els tokens d'entrenament no permesos si aquesta és la teva política; no afecta els rastrejadors de cerca, que fan servir tokens diferents.
Exemple
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Com confirmar la correcció
Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.