robots.txt kwa crawler za AI: nini cha kuruhusu, nini cha kuzuia

Imechapishwa

Jibu fupi

Ipe kila crawler ya AI unayoijali kundi lake la User-agent. Ruhusu crawler za utafutaji kama OAI-SearchBot, Claude-SearchBot na PerplexityBot ukitaka kunukuliwa, na uamue kando kuhusu tokeni za mafunzo kama GPTBot, ClaudeBot, Google-Extended na Applebot-Extended. Kundi lenye jina huchukua nafasi ya kundi la * kwa crawler hiyo.

robots.txt ni faili la maandishi ya kawaida lililoanzia mwaka 1994 na likawa kiwango rasmi, RFC 9309, mwaka 2022. Watoa huduma wengi wa AI wanasema crawler zao hulifuata, na kadhaa huchapisha tokeni tofauti kwa utafutaji na kwa mafunzo. Hilo linaifanya robots.txt kuwa mahali rahisi zaidi pa kueleza sera ya AI, ilimradi sheria zinamaanisha kile unachofikiri zinamaanisha.

Kwenye ukurasa huu
  1. Crawler za AI hutumia tokeni zipi za robots.txt?
  2. robots.txt nzuri kwa AI inaonekanaje?
  3. Crawler huchaguaje sheria zipi zinazihusu?
  4. Makosa ya kawaida zaidi ya robots.txt ni yapi?
  5. Je, ninaweza kueleza sera ya matumizi ya AI zaidi ya kuruhusu na kuzuia?
  6. Mabadiliko huchukua muda gani, na ninayakaguaje?

Crawler za AI hutumia tokeni zipi za robots.txt?

Hizi ndizo tokeni ambazo watoa huduma wameziandika. Kwa mujibu wa RFC 9309, ulinganishaji hauzingatii herufi kubwa na ndogo.

robots.txt nzuri kwa AI inaonekanaje?

Mfano huu unaruhusu utafutaji wa AI na upakuaji kwa watumiaji, unajiondoa kwenye tokeni kuu za mafunzo na unaweka eneo moja la faragha limefungwa kwa wote:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Mistari kadhaa ya User-agent mfululizo huunda kundi moja, kwa hivyo sheria zilizo chini yake zinatumika kwa kila moja ya crawler hizo. Kama unataka maudhui yako yatumike kwa mafunzo, acha tu kundi la pili. Kuzuia Google-Extended hakuathiri Google Search: Google inasema haiathiri kujumuishwa katika Search na si ishara ya nafasi. Vivyo hivyo, Apple inasema kurasa zinazozuia Applebot-Extended bado zinaweza kuonekana katika matokeo yake ya utafutaji.

Crawler huchaguaje sheria zipi zinazihusu?

RFC 9309 inafafanua hili kwa usahihi, na undani huu unaeleza mshangao mwingi:

Makosa ya kawaida zaidi ya robots.txt ni yapi?

Je, ninaweza kueleza sera ya matumizi ya AI zaidi ya kuruhusu na kuzuia?

Cloudflare imependekeza mstari wa Content-Signal kwa robots.txt wenye ishara tatu: search (kujenga faharasa ya utafutaji na kuonyesha viungo na manukuu mafupi), ai-input (kutumia maudhui kwa wakati halisi kwa majibu ya AI) na ai-train (kufunza au kuboresha miundo kwa fine-tuning). robots.txt inayosimamiwa na Cloudflare inaweza kukuongezea.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Kama kila kitu kwenye robots.txt, haya ni mapendeleo, si udhibiti wa kiufundi. Cloudflare yenyewe inabainisha kwamba kufuata robots.txt ni hiari. Mstari huu si lazima na hauna madhara, lakini hauchukui nafasi ya makundi ya kila crawler yaliyo hapo juu.

Mabadiliko huchukua muda gani, na ninayakaguaje?

RFC 9309 inasema crawler hazipaswi kutumia robots.txt iliyohifadhiwa kwa zaidi ya saa 24, na OpenAI na Perplexity zote zinasema mabadiliko yanaweza kuchukua takriban siku moja kutumika. Kumbuka pia kwamba robots.txt si udhibiti wa ufikiaji: firewall bado inaweza kuzuia crawler ambayo sheria zako zinairuhusu.

AISeeWhy huchanganua robots.txt yako kwa RFC 9309 kwa kila crawler inayojaribu, huashiria faili zisizoweza kufikiwa au zinazotolewa kama HTML, huonyesha mahali ambapo sheria zako na seva yako hazikubaliani na hutoa diff iliyo tayari kwa badiliko.

Marekebisho ya tatizo hili

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, kuzuia GPTBot au ClaudeBot kunaharibu kuonekana kwangu katika majibu ya AI?

Si moja kwa moja. Watoa huduma wote wawili hutumia crawler tofauti za utafutaji, OAI-SearchBot na Claude-SearchBot, kwa utafutaji. Kuzuia crawler ya mafunzo ni chaguo la sera.

Je, Google-Extended inasimamisha AI Overviews?

Hapana. Google inasema vipengele vya AI katika Search hutumia Googlebot na udhibiti wa kawaida wa Search kama nosnippet na noindex. Google-Extended inahusu mafunzo ya Gemini na grounding katika bidhaa nyingine za Google na haiathiri Search.

Je, crawler za AI zinaauni Crawl-delay?

Si sehemu ya RFC 9309. Anthropic inasema inaauni Crawl-delay kama kiendelezi kisicho cha kiwango; kwa watoa huduma wengine, kagua nyaraka zao.

robots.txt lazima iwe wapi?

Kwenye mzizi wa kila mwenyeji, kwa mfano https://example.com/robots.txt. Faili lililo kwenye folda ndogo hupuuzwa, na kila subdomain inahitaji yake.

Vyanzo

Makala zaidi