Generator robots.txt pentru crawlere AI
Alege ce crawlere AI pot citi site-ul tău și copiază robots.txt-ul generat. O alegere frecventă este să blochezi crawlerele de antrenare AI, precum GPTBot și ClaudeBot, dar să permiți crawlerele de căutare AI, precum OAI-SearchBot și PerplexityBot, ca paginile tale să poată apărea și fi citate în răspunsurile AI.
Blocarea descărcărilor la cererea utilizatorului are un efect limitat: unii furnizori spun că acești agenți pot ignora robots.txt, pentru că o persoană a cerut pagina. Testează rezultatul cu verificatorul robots.txt înainte să îl publici. Verificator robots.txt pentru crawlere AI →
Cum se folosește
Pune fișierul în rădăcina domeniului tău (https://example.com/robots.txt). Dacă ai deja reguli pentru alte crawlere, păstrează-le și adaugă doar grupurile AI. Modificările au efect data viitoare când fiecare crawler citește fișierul, de obicei în cel mult o zi.