Ai schimbat robots.txt? Vezi cum îl citește fiecare crawler AI

Un singur rând în grupul greșit poate bloca căutarea ChatGPT când voiai să blochezi doar antrenarea AI. Verifică rezultatul pentru 16 crawlere.

Gratuit · Fără cont · Rezultat în 30 de secunde

Ce grup se aplică

Un crawler urmează grupul care îl numește, nu grupul *, iar asta îi surprinde pe mulți proprietari de site-uri.

Căutare versus antrenare

Blochează crawlerele de antrenare dacă vrei, păstrându-le pe cele care te aduc în răspunsurile căutării AI.

Remedierea exactă

Rândurile de schimbat, gata de lipit, și o reverificare pentru confirmare.

Ia pachetul complet

După trecerea la Cloudflare · După un redesign · După trecerea la Shopify