robots.txt draudžia OAI-SearchBot
Jūsų robots.txt yra Disallow taisyklė, kuri šiam puslapiui taikoma šio roboto žymeniui. Auditas taiko RFC 9309: roboto nuosavą grupę, jei ji yra, kitaip grupę *, o laimi ilgiausia atitinkanti taisyklė. Pridėkite robotui Allow arba pašalinkite taisyklę, jei norite jį įleisti.
Ką tai reiškia
Jūsų robots.txt taisyklės neleidžia OAI-SearchBot atsisiųsti /.
Kodėl tai svarbu DI paieškai
Tvarkingi DI robotai paiso robots.txt. Jei OAI-SearchBot, Claude-SearchBot ar PerplexityBot uždrausti, puslapis neatsisiunčiamas į jų paieškos indeksus, todėl jo negalima cituoti jų atsakymuose. Mokymo žymenų, pvz., GPTBot, ClaudeBot, Google-Extended ar Applebot-Extended, uždraudimas sustabdo tik naudojimą modeliams mokyti.
Daug svetainių DI robotus blokuoja netyčia: šablonas draudžia viską, išskyrus Googlebot, arba iš bandomosios aplinkos likusi grupė User-agent: * su Disallow: /. Atminkite, kad Applebot naudoja Googlebot grupę, kai neturi savo.
Kaip tai ištaisyti
- Radinyje raskite taisyklę: jame nurodytas roboto žymuo ir kelias. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
- Pašalinkite roboto žymenį iš visų grupių, draudžiančių puslapį, tada pridėkite jam atskirą grupę su
Allow: /. Konkreti grupė tam robotui pakeičia grupę*, todėl taisyklės po*jam nebetaikomos. - WordPress patikrinkite, ar robots.txt yra tikras failas svetainės šakniniame kataloge, ar jį generuoja SEO įskiepis, pvz., Yoast ar Rank Math, ir redaguokite ten. Shopify redaguokite temos šabloną
robots.txt.liquid. - Cloudflare patikrinkite, ar valdomo robots.txt nustatymas neprideda DI robotų taisyklių prie jūsų failo.
- Palikite mokymo žymenis uždraustus, jei tokia jūsų politika; tai neturi įtakos paieškos robotams, kurie naudoja atskirus žymenis.
Pavyzdys
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.