robots.txt tester at checker para sa mga AI crawler

Ilagay ang address ng pahina: babasahin namin ang robots.txt ng site at ipapakita, para sa bawat AI at search crawler, kung maaari nitong kunin ang pahinang iyon. O mag-paste ng robots.txt para subukin ito bago mo ilathala.

Kahilingan lang ang robots.txt. Maaari pa ring i-block ng firewall o bot protection ang crawler na pinapayagan ng robots.txt; sinusubok iyon ng buong pagsusuri. Patakbuhin ang buong pagsusuri →

Parehong pagsusuri para sa pahinang bukas mo, sa isang click: AI Crawler Checker ↗

Paano binabasa ng mga AI crawler ang robots.txt

Sinusunod ng bawat crawler ang grupong nagbabanggit sa token nito (halimbawa GPTBot o PerplexityBot); kung wala lang, sinusunod nito ang User-agent: *. Sa loob ng isang grupo, nananalo ang pinakamahabang tumutugmang rule, at nananalo ang Allow kapag tabla. Ang pag-block sa mga training crawler gaya ng GPTBot, ClaudeBot o Google-Extended ay naglalayo sa content mo sa training ng mga model; ang pag-block sa mga search at user crawler gaya ng OAI-SearchBot, ChatGPT-User o PerplexityBot ay naglalayo sa mga pahina mo sa mga AI na sagot.

Gabay

Paano gamitin ang robots.txt tester

Isinalin ng makina ang tekstong ito mula sa Ingles.

Ano ang sinusuri ng robots.txt tester na ito

Ilagay ang address ng isang pahina. Kinukuha ng tester ang scheme at host ng address na iyon, binabasa ang /robots.txt mula sa root ng host na iyon at sinusuri ang mga rule nito para sa path ng pahina mo. Iisang tanong ang sinasagot nito para sa bawat isa sa 16 na crawler: maaari bang kunin ng crawler na ito ang pahinang ito?

Naka-grupo ang mga crawler ayon sa ginagawa nila. Nangongolekta ng mga pahina para sa mga AI model ang mga training crawler: GPTBot, ClaudeBot, CCBot, Bytespider at Meta-ExternalAgent, pati ang mga token na pang-robots.txt lang na Google-Extended at Applebot-Extended, na hindi kailanman bumibisita nang mag-isa pero nagsasabi sa Google at Apple kung maaari nilang gamitin ang mga pahinang nakuha na nila. Binubuo ng mga search crawler ang mga index na sinisipi ng mga sagot ng AI at ng mga resulta ng search: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot at Applebot. Kinukuha ng mga user agent ang isang pahina kapag hiniling ng isang tao sa assistant na buksan ito: ChatGPT-User, Claude-User at Perplexity-User.

Maaari ka ring mag-paste ng robots.txt sa halip na address. Walang kinukuha sa ganoong kaso: sinusuri ng tester ang text na in-paste mo, kaya masusubukan mo ang isang pagbabago bago mo ito ilathala. Ginagamit lang ang in-paste na text para sumagot at hindi ito sine-save.

Paano basahin ang mga resulta

May isang row ang talahanayan para sa bawat crawler. Pinapayagan o Naka-block ang nakasulat sa column para sa path mo. Sinasabi ng huling column kung aling bahagi ng file ang nagpasya:

Sa ilalim ng talahanayan makikita mo ang mga linyang Sitemap na nakalista sa file at ang linyang Content-Signal nito, kung mayroon. Kung web page ang ibinalik ng address sa halip na text file, o walang file, sinasabi iyon ng tester: itinuturing ng mga crawler na nawawalang file ang HTML page sa /robots.txt.

Ang row na Pinapayagan ay nangangahulugan lang na hindi pinipigilan ng robots.txt ang crawler na iyon. Hindi ito nangangahulugang bibisita ang crawler, at wala itong sinasabi tungkol sa firewall mo.

Paano pinipili ng crawler ang mga rule nito

Ang RFC 9309, ang pamantayan ng robots.txt, ay nagtatakda ng tatlong rule na nagpapaliwanag sa halos bawat nakakagulat na resulta. Una, hinahanap ng crawler ang mga grupong may User-agent na tugma sa token nito, nang hindi pinapansin ang malaki o maliit na titik. Kapag may nakita, ang mga grupong iyon lang ang sinusunod nito at ganap na binabalewala ang User-agent: *. Sa loob ng napiling grupo, panalo ang rule na may pinakamahabang tugmang path, at kung magkasinghaba ang tugma ng isang Allow at isang Disallow, panalo ang Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Sa file na ito, naka-block ang GPTBot sa bawat pahina, dahil may sarili itong grupo. Maaaring kunin ng bawat ibang crawler ang /private/press/kit.pdf, dahil mas mahaba ang Allow: /private/press/ kaysa sa Disallow: /private/, at naka-block ito sa /private/notes/. Subukan ang parehong path sa tester at makikita mong lilipat ang pasya mula sa isang grupo papunta sa isa pa.

Mga karaniwang pagkakamali, may mga halimbawa

Training, search at user crawler: ano ang nangyayari kapag bina-block ang bawat isa

Pagpili sa patakaran ang pag-block sa isang training crawler. Inilalayo nito ang mga pahina mo sa training ng mga susunod na model at hindi nito naaapektuhan kung masisipi ka ng AI search ngayon. Ang pag-block sa isang search crawler gaya ng OAI-SearchBot, Claude-SearchBot o PerplexityBot ay naglalayo sa mga pahina mo sa mga sagot ng assistant na iyon. Ang pag-block sa Googlebot o Bingbot ay nag-aalis sa iyo sa mga search engine na iyon at sa mga AI feature na nakabatay sa mga ito.

Kumikilos ang mga user agent gaya ng ChatGPT-User para sa isang taong humiling ng pahina mo. Sinasabi ng ilang vendor na maaaring hindi sundin ng mga agent na ito ang robots.txt para sa ganitong mga kahilingan, kaya kahilingan ang rule para sa kanila, hindi garantiya. Kung gusto mong naka-off ang training at naka-on ang AI search, i-block ang mga training token at huwag galawin ang mga search at user token.

Subukan bago ilathala, pagkatapos ay subukan muli

I-paste ang draft mo sa tester, ilagay ang path ng isang mahalagang pahina, gaya ng pahina ng produkto o ng presyo, at basahin ang row ng bawat crawler na mahalaga sa iyo. Ulitin gamit ang path na gusto mong i-block. Kapag tugma na ang mga resulta sa layunin mo, ilathala ang file at patakbuhin muli ang tester gamit ang live na address, na nagpapatunay na ibinabalik ng server ang file na in-edit mo.

Kina-cache ng mga crawler ang robots.txt; ang Google, halimbawa, ay karaniwang nire-refresh ang kopya nito sa loob ng 24 na oras. Maaaring umabot ng isang araw bago makita ang pagbabago sa kilos nila, at ipinapakita ng robots.txt report sa Google Search Console ang kopyang huling kinuha ng Google.

Kapag pinapayagan ng robots.txt ang isang crawler at naka-block pa rin ito

Kahilingan lang ang robots.txt. Maaari pa ring sagutin ng firewall, serbisyo ng bot protection o rule ng CDN ang isang crawler ng 403 o challenge page habang nakukuha ng mga tao ang pahina. Hindi iyon nakikita ng tester, dahil iisang file lang ang binabasa nito. Kinukuha ng buong pagsusuri ang pahina mo gamit ang user agent ng bawat crawler katabi ng isang karaniwang browser at ipinapakita kung aling crawler ang nakakakuha ng ibang sagot, kasama ang HTTP status at ang signature ng firewall.

Mga madalas itanong

Pareho ba ito sa robots.txt Tester ng Google?

Hindi. Itinigil ng Google ang hiwalay nitong robots.txt Tester noong 2023; ipinapakita na ngayon ng robots.txt report sa Search Console ang file na kinuha ng Google at anumang parsing error, para sa mga crawler ng Google lang. Inilalapat ng tester na ito ang parehong mga rule ng RFC 9309 sa 16 na AI at search crawler nang sabay-sabay.

Ibig bang sabihin ng Pinapayagan na babasahin o sisipiin ng crawler ang pahina ko?

Hindi. Ibig sabihin nito ay hindi ito ipinagbabawal ng robots.txt. Nakadepende sa server at firewall mo kung makukuha ng crawler ang pahina, at nakadepende sa content mo at sa itinanong kung sisipiin ito ng isang assistant.

Bakit "walang rule" ang ipinapakita para sa isang crawler?

Walang grupo ang file mo para sa token nito at walang grupong User-agent: *, kaya walang nalalapat dito at pinapayagan ang bawat path.

Maaari ko bang subukan ang robots.txt na hindi pa nailalathala?

Oo. I-paste ang text sa ikalawang field at ilagay ang path na susubukin. Walang kinukuha mula sa site mo, at hindi sine-save ang in-paste na text.

Nagpapadala ba ang tester ng mga request bilang GPTBot o ibang crawler?

Hindi. Binabasa lang nito ang robots.txt mo at inilalapat ang mga rule. Para makita kung ano talaga ang natatanggap ng bawat crawler mula sa server mo, patakbuhin ang buong pagsusuri.

Gaano kadalas ko ito magagamit?

Libre ito at hindi kailangan ng account. Para manatili itong available sa lahat, limitado ang bilang ng test na mapapatakbo ng bawat network bawat oras.

Mga kaugnay na tool at gabay