robots.txt inaruhusu GPTBot, lakini seva inaizuia
robots.txt yako inairuhusu crawler hii kupakua ukurasa, lakini ombi lenye user agent yake lilizuiwa na seva, CDN au firewall. Sera iliyotajwa na tabia halisi hazikubaliani. Badilisha sheria ya firewall ilingane na robots.txt, au izuie crawler kwenye robots.txt kama ulikusudia kuizuia.
Maana yake
Sheria zako zinaruhusu GPTBot, lakini ombi lenye user agent yake lilizuiwa. Firewall au CDN inapuuza sera uliyoitaja.
Kwa nini ni muhimu kwa utafutaji wa AI
Crawler huichukulia robots.txt kuwa sera yako. Inaposema ndiyo na seva inasema 403, crawler hupoteza maombi, inaweza kujaribu tena baadaye, na ukurasa bado haufiki kwenye index ya injini ya majibu. Mara nyingi timu huamini zinaruhusu utafutaji wa AI kwa sababu robots.txt inasema hivyo, huku sheria ya bot ikiuzuia kimyakimya.
Jaribio linaendeshwa kutoka anwani ya IP isiyothibitishwa. Sheria inayoruhusu crawler kupita tu kutoka masafa yake ya IP yaliyochapishwa, ambao ni mpangilio unaofaa, inaweza kwa hivyo kuonekana hapa ingawa crawler halisi inaingia. Kagua sheria iliyochochewa kabla ya kubadilisha chochote.
Jinsi ya kurekebisha
- Linganisha kundi la robots.txt na hali ya ombi lililozuiwa kwenye dosari. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Tafuta sheria iliyozuia ombi: kwenye Cloudflare angalia Security → Events na mipangilio ya AI Crawl Control na Bot Fight Mode; kwenye CDN nyingine angalia logi ya bot management.
- Ukitaka crawler iingie, ongeza ubaguzi kwa ajili yake; ukitaka isiingie, ongeza kundi la Disallow kwa tokeni yake ili sera yako itajwe mahali pamoja.
Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.