robots.txt kwa crawler za AI: nini cha kuruhusu, nini cha kuzuia
Ipe kila crawler ya AI unayoijali kundi lake la User-agent. Ruhusu crawler za utafutaji kama OAI-SearchBot, Claude-SearchBot na PerplexityBot ukitaka kunukuliwa, na uamue kando kuhusu tokeni za mafunzo kama GPTBot, ClaudeBot, Google-Extended na Applebot-Extended. Kundi lenye jina huchukua nafasi ya kundi la * kwa crawler hiyo.
robots.txt ni faili la maandishi ya kawaida lililoanzia mwaka 1994 na likawa kiwango rasmi, RFC 9309, mwaka 2022. Watoa huduma wengi wa AI wanasema crawler zao hulifuata, na kadhaa huchapisha tokeni tofauti kwa utafutaji na kwa mafunzo. Hilo linaifanya robots.txt kuwa mahali rahisi zaidi pa kueleza sera ya AI, ilimradi sheria zinamaanisha kile unachofikiri zinamaanisha.
Kwenye ukurasa huu
Crawler za AI hutumia tokeni zipi za robots.txt?
Hizi ndizo tokeni ambazo watoa huduma wameziandika. Kwa mujibu wa RFC 9309, ulinganishaji hauzingatii herufi kubwa na ndogo.
- OpenAI:
OAI-SearchBot(utafutaji wa ChatGPT),GPTBot(mafunzo),ChatGPT-User(ziara zilizoombwa na watumiaji; OpenAI inasema huenda robots.txt isihusike). - Anthropic:
Claude-SearchBot(utafutaji),ClaudeBot(mafunzo),Claude-User(ziara zilizoombwa na watumiaji). - Perplexity:
PerplexityBot(utafutaji),Perplexity-User(ziara zilizoombwa na watumiaji; Perplexity inasema kwa kawaida hupuuza robots.txt). - Google:
Googlebot(Search, pamoja na vipengele vyake vya AI) naGoogle-Extended, tokeni isiyo na crawler yake yenyewe inayodhibiti matumizi katika mafunzo na grounding ya Gemini. - Apple:
Applebot(utafutaji wa Spotlight, Siri, Safari) naApplebot-Extended, ambayo haipitii kurasa lakini inadhibiti matumizi kwa kufunza miundo ya msingi ya Apple. - Meta:
meta-externalagent(mafunzo na kuorodhesha bidhaa) nameta-webindexer(utafutaji wa Meta AI). - Common Crawl:
CCBot, inayojenga hifadhi ya umma ya bure ya data ya wavuti ya Common Crawl.
robots.txt nzuri kwa AI inaonekanaje?
Mfano huu unaruhusu utafutaji wa AI na upakuaji kwa watumiaji, unajiondoa kwenye tokeni kuu za mafunzo na unaweka eneo moja la faragha limefungwa kwa wote:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Mistari kadhaa ya User-agent mfululizo huunda kundi moja, kwa hivyo sheria zilizo chini yake zinatumika kwa kila moja ya crawler hizo. Kama unataka maudhui yako yatumike kwa mafunzo, acha tu kundi la pili. Kuzuia Google-Extended hakuathiri Google Search: Google inasema haiathiri kujumuishwa katika Search na si ishara ya nafasi. Vivyo hivyo, Apple inasema kurasa zinazozuia Applebot-Extended bado zinaweza kuonekana katika matokeo yake ya utafutaji.
Crawler huchaguaje sheria zipi zinazihusu?
RFC 9309 inafafanua hili kwa usahihi, na undani huu unaeleza mshangao mwingi:
- Crawler hutafuta kundi ambalo
User-agentyake inalingana na tokeni ya bidhaa yake, bila kuzingatia herufi kubwa na ndogo. Makundi kadhaa yakilingana, sheria zao huunganishwa kuwa moja. - Ni pale tu hakuna kundi linalolingana ndipo crawler hufuata kundi la
User-agent: *. Kundi lenye jina halirithi chochote kutoka*. - Ndani ya kundi, sheria yenye njia ndefu zaidi inayolingana hushinda.
Allow: /blog/inashindaDisallow: /kwa/blog/post. - Sheria ya
Allowna yaDisallowzikilingana kwa urefu sawa,Allowinapaswa kutumika. *katika njia hulingana na herufi zozote na$huashiria mwisho, kwa hivyoDisallow: /*.pdf$inahusu kila PDF.
Makosa ya kawaida zaidi ya robots.txt ni yapi?
- Kutarajia kundi lenye jina kurithi kutoka
*. Kundi laOAI-SearchBotlenyeAllow: /pekee hufungua kila njia, pamoja na zile ulizozizuia chini ya*. - Anwani ya robots.txt inayorudisha ukurasa wa HTML, mara nyingi ukurasa wa 404 unaotolewa na hali 200. Crawler hazipati humo sheria halali.
- robots.txt inayorudisha hitilafu ya seva. RFC 9309 inasema crawler basi lazima ichukulie kwamba tovuti nzima imezuiwa. 404 ni tofauti: inamaanisha hakuna vikwazo.
- Kuzuia tokeni ya utafutaji huku ukikusudia kuzuia mafunzo, kwa mfano kuzuia
PerplexityBotauClaude-SearchBotili kuepuka mafunzo ya miundo. - Kutegemea robots.txt kusimamisha upakuaji ulioombwa na watumiaji. OpenAI na Perplexity zote zinasema user agent zao huenda zisiifuate.
- Kusahau subdomain. Kila mwenyeji ana robots.txt yake; nyaraka za Anthropic zinawakumbusha wamiliki wa tovuti kuongeza sheria kwa kila subdomain.
Je, ninaweza kueleza sera ya matumizi ya AI zaidi ya kuruhusu na kuzuia?
Cloudflare imependekeza mstari wa Content-Signal kwa robots.txt wenye ishara tatu: search (kujenga faharasa ya utafutaji na kuonyesha viungo na manukuu mafupi), ai-input (kutumia maudhui kwa wakati halisi kwa majibu ya AI) na ai-train (kufunza au kuboresha miundo kwa fine-tuning). robots.txt inayosimamiwa na Cloudflare inaweza kukuongezea.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kama kila kitu kwenye robots.txt, haya ni mapendeleo, si udhibiti wa kiufundi. Cloudflare yenyewe inabainisha kwamba kufuata robots.txt ni hiari. Mstari huu si lazima na hauna madhara, lakini hauchukui nafasi ya makundi ya kila crawler yaliyo hapo juu.
Mabadiliko huchukua muda gani, na ninayakaguaje?
RFC 9309 inasema crawler hazipaswi kutumia robots.txt iliyohifadhiwa kwa zaidi ya saa 24, na OpenAI na Perplexity zote zinasema mabadiliko yanaweza kuchukua takriban siku moja kutumika. Kumbuka pia kwamba robots.txt si udhibiti wa ufikiaji: firewall bado inaweza kuzuia crawler ambayo sheria zako zinairuhusu.
AISeeWhy huchanganua robots.txt yako kwa RFC 9309 kwa kila crawler inayojaribu, huashiria faili zisizoweza kufikiwa au zinazotolewa kama HTML, huonyesha mahali ambapo sheria zako na seva yako hazikubaliani na hutoa diff iliyo tayari kwa badiliko.
Marekebisho ya tatizo hili
- robots.txt inaruhusu GPTBot, lakini seva inaizuia
- robots.txt inazuia OAI-SearchBot
- robots.txt ni ukurasa wa HTML
- Hakuna Content-Signal kwenye robots.txt
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, kuzuia GPTBot au ClaudeBot kunaharibu kuonekana kwangu katika majibu ya AI?
Si moja kwa moja. Watoa huduma wote wawili hutumia crawler tofauti za utafutaji, OAI-SearchBot na Claude-SearchBot, kwa utafutaji. Kuzuia crawler ya mafunzo ni chaguo la sera.
Je, Google-Extended inasimamisha AI Overviews?
Hapana. Google inasema vipengele vya AI katika Search hutumia Googlebot na udhibiti wa kawaida wa Search kama nosnippet na noindex. Google-Extended inahusu mafunzo ya Gemini na grounding katika bidhaa nyingine za Google na haiathiri Search.
Je, crawler za AI zinaauni Crawl-delay?
Si sehemu ya RFC 9309. Anthropic inasema inaauni Crawl-delay kama kiendelezi kisicho cha kiwango; kwa watoa huduma wengine, kagua nyaraka zao.
robots.txt lazima iwe wapi?
Kwenye mzizi wa kila mwenyeji, kwa mfano https://example.com/robots.txt. Faili lililo kwenye folda ndogo hupuuzwa, na kila subdomain inahitaji yake.
Vyanzo
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Muhtasari wa crawler za OpenAI
- Google: Crawler za kawaida, pamoja na Google-Extended
- Apple: Kuhusu Applebot
- Cloudflare: robots.txt inayosimamiwa na Content Signals