Hindi pinapayagan ng robots.txt ang OAI-SearchBot

Maikling sagot

May Disallow rule ang robots.txt mo na tumutugma sa pahinang ito para sa token ng crawler na ito. Sinusunod ng audit ang RFC 9309: ang sariling group ng crawler kung mayroon, kung wala ay ang group na *, at ang pinakamahabang tumutugmang rule ang nananaig. Magdagdag ng Allow para sa crawler o alisin ang rule kung gusto mo itong papasukin.

robots.disallowed · Priyoridad: P1–P3, ayon sa uri ng crawler

Ano ang ibig sabihin nito

Pinipigilan ng mga rule sa robots.txt mo ang OAI-SearchBot na kunin ang /.

Bakit ito mahalaga para sa AI search

Sinusunod ng mga maayos na AI crawler ang robots.txt. Kung hindi pinapayagan ang OAI-SearchBot, Claude-SearchBot o PerplexityBot, hindi kinukuha ang pahina para sa mga search index nila, kaya hindi ito masisipi sa mga sagot nila. Ang pag-disallow sa mga training token gaya ng GPTBot, ClaudeBot, Google-Extended o Applebot-Extended ay pumipigil lang sa paggamit para sa training ng model.

Maraming site ang nagba-block ng mga AI crawler nang hindi sinasadya: template na nagdi-disallow sa lahat maliban sa Googlebot, o group na User-agent: * na may Disallow: / na naiwan mula sa staging. Tandaan na ginagamit ng Applebot ang group ng Googlebot kapag wala itong sariling group.

Paano ito ayusin

  1. Hanapin ang rule sa natuklasan: binabanggit nito ang token ng crawler at ang path. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
  2. Alisin ang token ng crawler sa anumang group na nagdi-disallow sa pahina, pagkatapos ay magdagdag ng sarili nitong group na may Allow: /. Pinapalitan ng tiyak na group ang group na * para sa crawler na iyon, kaya hindi na ito saklaw ng mga rule sa ilalim ng *.
  3. Sa WordPress, tingnan kung totoong file sa web root ang robots.txt o ginagawa ito ng SEO plugin gaya ng Yoast o Rank Math, at doon ito i-edit. Sa Shopify, i-edit ang theme template na robots.txt.liquid.
  4. Sa Cloudflare, tingnan kung may managed robots.txt setting na nagdaragdag ng mga rule para sa AI crawler sa ibabaw ng sarili mong file.
  5. Panatilihing naka-disallow ang mga training token kung iyon ang patakaran mo; hindi nito naaapektuhan ang mga search crawler na may hiwalay na token.

Halimbawa

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Paano kumpirmahin ang ayos

Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.

Suriin ang pahina ko →

Mga kaugnay na gabay

Lahat ng natuklasan at paano gumagana ang score