robots.txt aizliedz OAI-SearchBot

Īsa atbilde

Jūsu robots.txt ir Disallow noteikums, kas šai lapai attiecas uz šīs rāpuļprogrammas marķieri. Audits piemēro RFC 9309: rāpuļprogrammas pašas grupu, ja tāda ir, citādi * grupu, un uzvar garākais atbilstošais noteikums. Pievienojiet rāpuļprogrammai Allow vai noņemiet noteikumu, ja vēlaties to ielaist.

robots.disallowed · Prioritāte: P1–P3 atkarībā no rāpuļprogrammas veida

Ko tas nozīmē

Jūsu robots.txt kārtulas neļauj OAI-SearchBot ielādēt /.

Kāpēc tas ir svarīgi MI meklēšanai

Godprātīgas MI rāpuļprogrammas ievēro robots.txt. Ja OAI-SearchBot, Claude-SearchBot vai PerplexityBot ir aizliegtas, lapa netiek ielādēta to meklēšanas indeksiem, tāpēc to nevar citēt to atbildēs. Apmācības marķieru, piemēram, GPTBot, ClaudeBot, Google-Extended vai Applebot-Extended, aizliegšana aptur tikai izmantošanu modeļu apmācībai.

Daudzas vietnes bloķē MI rāpuļprogrammas nejauši: veidne, kas aizliedz visu, izņemot Googlebot, vai User-agent: * grupa ar Disallow: /, kas palikusi no testa vides. Ņemiet vērā, ka Applebot izmanto Googlebot grupu, ja tai nav savas grupas.

Kā to labot

  1. Atrodiet noteikumu konstatējumā: tajā ir rāpuļprogrammas marķieris un ceļš. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
  2. Noņemiet rāpuļprogrammas marķieri no visām grupām, kas aizliedz lapu, pēc tam pievienojiet tai savu grupu ar Allow: /. Konkrēta grupa šai rāpuļprogrammai aizstāj * grupu, tāpēc noteikumi zem * uz to vairs neattiecas.
  3. WordPress pārbaudiet, vai robots.txt ir īsts fails tīmekļa saknē vai to ģenerē SEO spraudnis, piemēram, Yoast vai Rank Math, un rediģējiet to tur. Shopify rediģējiet motīva veidni robots.txt.liquid.
  4. Cloudflare pārbaudiet, vai pārvaldītā robots.txt iestatījums nepievieno MI rāpuļprogrammu noteikumus papildus jūsu failam.
  5. Atstājiet apmācības marķierus aizliegtus, ja tāda ir jūsu politika; tas neietekmē meklēšanas rāpuļprogrammas, kas izmanto atsevišķus marķierus.

Piemērs

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Kā pārliecināties, ka labojums darbojas

Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.

Pārbaudīt manu lapu →

Saistītie ceļveži

Visi konstatējumi un kā darbojas vērtējums