robots.txt haiwezi kupakuliwa

Jibu fupi

Kupakua /robots.txt kulishindwa: seva ilijibu kwa hali ya 5xx au 429, au haikujibu kabisa. Kwa mujibu wa RFC 9309, crawler basi huichukulia tovuti nzima kuwa imezuiwa. Fanya /robots.txt irudishe hali 200 yenye maandishi matupu, au 404 kama huna sheria.

robots.unreachable · Kipaumbele: P1

Maana yake

robots.txt ilijibu kwa hali 403 au haikujibu. Kwa mujibu wa RFC 9309, crawler basi huichukulia tovuti nzima kuwa imezuiwa.

Kwa nini ni muhimu kwa utafutaji wa AI

RFC 9309 inasema crawler isiyoweza kufikia robots.txt kwa sababu ya hitilafu ya seva lazima ichukulie kila kitu kimezuiwa. Googlebot, Bingbot na crawler za AI zinazofuata kiwango hicho huacha kupakua kurasa hadi robots.txt ijibu tena, kwa hivyo faili moja iliyoharibika inaweza kuficha tovuti nzima.

Faili isiyokuwepo ni tofauti: 404 au hali nyingine ya 4xx inamaanisha hakuna sheria, kwa hivyo kila kitu kinaruhusiwa na AISeeWhy haiiripoti chochote. Tatizo ni hitilafu za seva, vikomo vya maombi (429) na maombi yanayoisha muda au kukataliwa kabla hali yoyote haijarudi.

Jinsi ya kurekebisha

  1. Fungua https://your-domain/robots.txt kutoka nje ya mtandao wako na uandike hali. Ukaguzi unaipakua kwa user agent ya kivinjari.
  2. Ikiwa ni 5xx, kagua njia kwenye seva asili: framework kama Next.js huitoa kutoka public/robots.txt au app/robots.ts, WordPress huitengeneza kwa wakati halisi, kwa hivyo hitilafu ya PHP huivunja.
  3. Ikiwa ni 429 au muda umeisha, iondolee /robots.txt rate limiting na changamoto za bot kwenye CDN au WAF yako.
  4. Weka robots.txt kwenye cache ya CDN ili iendelee kujibu seva asili inapokuwa polepole. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi