robots.txt no permet OAI-SearchBot

Resposta breu

El teu robots.txt té una regla Disallow que coincideix amb aquesta pàgina per al token d'aquest rastrejador. L'auditoria aplica l'RFC 9309: el grup propi del rastrejador si en té, si no el grup *, i guanya la regla coincident més llarga. Afegeix un Allow per al rastrejador o elimina la regla si el vols deixar entrar.

robots.disallowed · Prioritat: P1–P3, segons el tipus de rastrejador

Què vol dir

Les regles del teu robots.txt impedeixen que OAI-SearchBot obtingui /.

Per què és important per a la cerca amb IA

Els rastrejadors d'IA ben comportats respecten robots.txt. Si OAI-SearchBot, Claude-SearchBot o PerplexityBot no estan permesos, la pàgina no s'obté per als seus índexs de cerca i, per tant, no es pot citar a les seves respostes. No permetre tokens d'entrenament com GPTBot, ClaudeBot, Google-Extended o Applebot-Extended només n'impedeix l'ús per entrenar models.

Molts llocs bloquegen rastrejadors d'IA sense voler: una plantilla que no permet res excepte Googlebot, o un grup User-agent: * amb Disallow: / que ha quedat de l'entorn de proves. Tingues en compte que Applebot fa servir el grup de Googlebot quan no en té cap de propi.

Com corregir-ho

  1. Busca la regla a la troballa: indica el token del rastrejador i la ruta. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
  2. Treu el token del rastrejador de qualsevol grup que no permeti la pàgina i afegeix-li un grup propi amb Allow: /. Un grup específic substitueix el grup * per a aquell rastrejador, així que les regles de * deixen d'aplicar-s'hi.
  3. A WordPress, comprova si robots.txt és un fitxer real a l'arrel del web o si el genera un plugin de SEO com Yoast o Rank Math, i edita'l allà. A Shopify, edita la plantilla del tema robots.txt.liquid.
  4. A Cloudflare, comprova si un ajust de robots.txt gestionat afegeix regles per a rastrejadors d'IA a sobre del teu fitxer.
  5. Mantén els tokens d'entrenament no permesos si aquesta és la teva política; no afecta els rastrejadors de cerca, que fan servir tokens diferents.

Exemple

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació