robots.txt draudžia OAI-SearchBot

Trumpas atsakymas

Jūsų robots.txt yra Disallow taisyklė, kuri šiam puslapiui taikoma šio roboto žymeniui. Auditas taiko RFC 9309: roboto nuosavą grupę, jei ji yra, kitaip grupę *, o laimi ilgiausia atitinkanti taisyklė. Pridėkite robotui Allow arba pašalinkite taisyklę, jei norite jį įleisti.

robots.disallowed · Prioritetas: P1–P3, pagal roboto tipą

Ką tai reiškia

Jūsų robots.txt taisyklės neleidžia OAI-SearchBot atsisiųsti /.

Kodėl tai svarbu DI paieškai

Tvarkingi DI robotai paiso robots.txt. Jei OAI-SearchBot, Claude-SearchBot ar PerplexityBot uždrausti, puslapis neatsisiunčiamas į jų paieškos indeksus, todėl jo negalima cituoti jų atsakymuose. Mokymo žymenų, pvz., GPTBot, ClaudeBot, Google-Extended ar Applebot-Extended, uždraudimas sustabdo tik naudojimą modeliams mokyti.

Daug svetainių DI robotus blokuoja netyčia: šablonas draudžia viską, išskyrus Googlebot, arba iš bandomosios aplinkos likusi grupė User-agent: * su Disallow: /. Atminkite, kad Applebot naudoja Googlebot grupę, kai neturi savo.

Kaip tai ištaisyti

  1. Radinyje raskite taisyklę: jame nurodytas roboto žymuo ir kelias. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
  2. Pašalinkite roboto žymenį iš visų grupių, draudžiančių puslapį, tada pridėkite jam atskirą grupę su Allow: /. Konkreti grupė tam robotui pakeičia grupę *, todėl taisyklės po * jam nebetaikomos.
  3. WordPress patikrinkite, ar robots.txt yra tikras failas svetainės šakniniame kataloge, ar jį generuoja SEO įskiepis, pvz., Yoast ar Rank Math, ir redaguokite ten. Shopify redaguokite temos šabloną robots.txt.liquid.
  4. Cloudflare patikrinkite, ar valdomo robots.txt nustatymas neprideda DI robotų taisyklių prie jūsų failo.
  5. Palikite mokymo žymenis uždraustus, jei tokia jūsų politika; tai neturi įtakos paieškos robotams, kurie naudoja atskirus žymenis.

Pavyzdys

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Kaip įsitikinti, kad pataisymas suveikė

Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.

Tikrinti mano puslapį →

Susiję vadovai

Visi radiniai ir kaip skaičiuojamas balas