Generador de robots.txt para rastreadores de IA
Elija qué rastreadores de IA pueden leer su sitio y copie el robots.txt generado. Una opción habitual es bloquear los rastreadores de entrenamiento de IA como GPTBot y ClaudeBot, pero permitir los de búsqueda con IA como OAI-SearchBot y PerplexityBot, para que sus páginas sigan pudiendo aparecer y citarse en las respuestas de IA.
Bloquear los lectores a petición del usuario tiene un efecto limitado: algunos proveedores indican que estos agentes pueden no seguir robots.txt, porque una persona pidió la página. Pruebe el resultado con el comprobador de robots.txt antes de publicarlo. Comprobador de robots.txt para rastreadores de IA →
Cómo usarlo
Coloque el archivo en la raíz de su dominio (https://example.com/robots.txt). Si ya tiene reglas para otros rastreadores, consérvelas y añada solo los grupos de IA. Los cambios surten efecto la próxima vez que cada rastreador lea el archivo, normalmente en un día.