Zmenili ste robots.txt? Pozrite sa, ako ho číta každý AI crawler
Jeden riadok v nesprávnej skupine môže zablokovať vyhľadávanie ChatGPT, hoci ste chceli zablokovať len trénovanie AI. Skontrolujte výsledok pre 16 crawlerov.
Zadarmo · Bez registrácie · Výsledok za 30 sekúnd
Ktorá skupina platí
Crawler sa riadi skupinou, ktorá ho menuje, nie skupinou *, čo prekvapí mnohých majiteľov webov.
Vyhľadávanie verzus trénovanie
Ak chcete, zablokujte trénovacie crawlery a ponechajte tie, vďaka ktorým sa dostanete do odpovedí AI vyhľadávania.
Presná oprava
Riadky na zmenu, pripravené na vloženie, a opakovaná kontrola na potvrdenie.
Po prechode na Cloudflare · Po redizajne · Po prechode na Shopify