Hindi pinapayagan ng robots.txt ang OAI-SearchBot
May Disallow rule ang robots.txt mo na tumutugma sa pahinang ito para sa token ng crawler na ito. Sinusunod ng audit ang RFC 9309: ang sariling group ng crawler kung mayroon, kung wala ay ang group na *, at ang pinakamahabang tumutugmang rule ang nananaig. Magdagdag ng Allow para sa crawler o alisin ang rule kung gusto mo itong papasukin.
Ano ang ibig sabihin nito
Pinipigilan ng mga rule sa robots.txt mo ang OAI-SearchBot na kunin ang /.
Bakit ito mahalaga para sa AI search
Sinusunod ng mga maayos na AI crawler ang robots.txt. Kung hindi pinapayagan ang OAI-SearchBot, Claude-SearchBot o PerplexityBot, hindi kinukuha ang pahina para sa mga search index nila, kaya hindi ito masisipi sa mga sagot nila. Ang pag-disallow sa mga training token gaya ng GPTBot, ClaudeBot, Google-Extended o Applebot-Extended ay pumipigil lang sa paggamit para sa training ng model.
Maraming site ang nagba-block ng mga AI crawler nang hindi sinasadya: template na nagdi-disallow sa lahat maliban sa Googlebot, o group na User-agent: * na may Disallow: / na naiwan mula sa staging. Tandaan na ginagamit ng Applebot ang group ng Googlebot kapag wala itong sariling group.
Paano ito ayusin
- Hanapin ang rule sa natuklasan: binabanggit nito ang token ng crawler at ang path. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
- Alisin ang token ng crawler sa anumang group na nagdi-disallow sa pahina, pagkatapos ay magdagdag ng sarili nitong group na may
Allow: /. Pinapalitan ng tiyak na group ang group na*para sa crawler na iyon, kaya hindi na ito saklaw ng mga rule sa ilalim ng*. - Sa WordPress, tingnan kung totoong file sa web root ang robots.txt o ginagawa ito ng SEO plugin gaya ng Yoast o Rank Math, at doon ito i-edit. Sa Shopify, i-edit ang theme template na
robots.txt.liquid. - Sa Cloudflare, tingnan kung may managed robots.txt setting na nagdaragdag ng mga rule para sa AI crawler sa ibabaw ng sarili mong file.
- Panatilihing naka-disallow ang mga training token kung iyon ang patakaran mo; hindi nito naaapektuhan ang mga search crawler na may hiwalay na token.
Halimbawa
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Paano kumpirmahin ang ayos
Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.