Generatore di robots.txt per i crawler AI
Scegli quali crawler AI possono leggere il tuo sito e copia il robots.txt generato. Una scelta comune è bloccare i crawler di addestramento AI come GPTBot e ClaudeBot ma consentire quelli di ricerca AI come OAI-SearchBot e PerplexityBot, così le tue pagine possono ancora comparire ed essere citate nelle risposte AI.
Bloccare i crawler che agiscono su richiesta dell'utente ha un effetto limitato: alcuni fornitori dicono che questi agenti possono non seguire robots.txt, perché è stata una persona a chiedere la pagina. Prova il risultato con il verificatore di robots.txt prima di pubblicarlo. Verifica robots.txt per i crawler AI →
Come usarlo
Metti il file nella radice del tuo dominio (https://example.com/robots.txt). Se hai già regole per altri crawler, tienile e aggiungi solo i gruppi AI. Le modifiche hanno effetto alla prossima lettura del file da parte di ciascun crawler, di solito entro un giorno.