robots.txt aizliedz OAI-SearchBot
Jūsu robots.txt ir Disallow noteikums, kas šai lapai attiecas uz šīs rāpuļprogrammas marķieri. Audits piemēro RFC 9309: rāpuļprogrammas pašas grupu, ja tāda ir, citādi * grupu, un uzvar garākais atbilstošais noteikums. Pievienojiet rāpuļprogrammai Allow vai noņemiet noteikumu, ja vēlaties to ielaist.
Ko tas nozīmē
Jūsu robots.txt kārtulas neļauj OAI-SearchBot ielādēt /.
Kāpēc tas ir svarīgi MI meklēšanai
Godprātīgas MI rāpuļprogrammas ievēro robots.txt. Ja OAI-SearchBot, Claude-SearchBot vai PerplexityBot ir aizliegtas, lapa netiek ielādēta to meklēšanas indeksiem, tāpēc to nevar citēt to atbildēs. Apmācības marķieru, piemēram, GPTBot, ClaudeBot, Google-Extended vai Applebot-Extended, aizliegšana aptur tikai izmantošanu modeļu apmācībai.
Daudzas vietnes bloķē MI rāpuļprogrammas nejauši: veidne, kas aizliedz visu, izņemot Googlebot, vai User-agent: * grupa ar Disallow: /, kas palikusi no testa vides. Ņemiet vērā, ka Applebot izmanto Googlebot grupu, ja tai nav savas grupas.
Kā to labot
- Atrodiet noteikumu konstatējumā: tajā ir rāpuļprogrammas marķieris un ceļš. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
- Noņemiet rāpuļprogrammas marķieri no visām grupām, kas aizliedz lapu, pēc tam pievienojiet tai savu grupu ar
Allow: /. Konkrēta grupa šai rāpuļprogrammai aizstāj*grupu, tāpēc noteikumi zem*uz to vairs neattiecas. - WordPress pārbaudiet, vai robots.txt ir īsts fails tīmekļa saknē vai to ģenerē SEO spraudnis, piemēram, Yoast vai Rank Math, un rediģējiet to tur. Shopify rediģējiet motīva veidni
robots.txt.liquid. - Cloudflare pārbaudiet, vai pārvaldītā robots.txt iestatījums nepievieno MI rāpuļprogrammu noteikumus papildus jūsu failam.
- Atstājiet apmācības marķierus aizliegtus, ja tāda ir jūsu politika; tas neietekmē meklēšanas rāpuļprogrammas, kas izmanto atsevišķus marķierus.
Piemērs
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.