robots.txt MI rāpuļprogrammām: ko atļaut, ko bloķēt
Katrai MI rāpuļprogrammai, kas jums svarīga, izveidojiet savu User-agent grupu. Atļaujiet meklēšanas rāpuļprogrammas, piemēram, OAI-SearchBot, Claude-SearchBot un PerplexityBot, ja vēlaties, lai jūs citē, un atsevišķi izlemiet par apmācības marķieriem, piemēram, GPTBot, ClaudeBot, Google-Extended un Applebot-Extended. Nosaukta grupa šai rāpuļprogrammai aizstāj grupu *.
robots.txt ir vienkāršs teksta fails, kas radās 1994. gadā un 2022. gadā kļuva par formālu standartu RFC 9309. Lielākā daļa MI piegādātāju norāda, ka viņu rāpuļprogrammas to ievēro, un vairāki publicē atsevišķus marķierus meklēšanai un apmācībai. Tas padara robots.txt par vienkāršāko vietu, kur paust MI politiku, ja vien kārtulas nozīmē to, ko jūs domājat.
Šajā lapā
- Kurus robots.txt marķierus izmanto MI rāpuļprogrammas?
- Kā izskatās labs robots.txt MI rāpuļprogrammām?
- Kā rāpuļprogrammas izvēlas, kuras kārtulas uz tām attiecas?
- Kādas ir biežākās robots.txt kļūdas?
- Vai varu paust MI izmantošanas politiku plašāk par atļaušanu un aizliegšanu?
- Cik ilgā laikā izmaiņas stājas spēkā, un kā tās pārbaudīt?
Kurus robots.txt marķierus izmanto MI rāpuļprogrammas?
Šie ir piegādātāju dokumentētie marķieri. Saskaņā ar RFC 9309 salīdzināšana nav reģistrjutīga.
- OpenAI:
OAI-SearchBot(ChatGPT meklēšana),GPTBot(apmācība),ChatGPT-User(lietotāju pieprasīti apmeklējumi; OpenAI norāda, ka robots.txt var neattiekties). - Anthropic:
Claude-SearchBot(meklēšana),ClaudeBot(apmācība),Claude-User(lietotāju pieprasīti apmeklējumi). - Perplexity:
PerplexityBot(meklēšana),Perplexity-User(lietotāju pieprasīti apmeklējumi; Perplexity norāda, ka tā parasti ignorē robots.txt). - Google:
Googlebot(Search, tostarp tās MI funkcijas) unGoogle-Extended— marķieris bez savas rāpuļprogrammas, kas kontrolē izmantošanu Gemini apmācībā un pamatojumā (grounding). - Apple:
Applebot(Spotlight, Siri, Safari meklēšana) unApplebot-Extended, kas neapstaigā lapas, bet kontrolē izmantošanu Apple pamatmodeļu apmācībai. - Meta:
meta-externalagent(apmācība un produktu indeksēšana) unmeta-webindexer(Meta AI meklēšana). - Common Crawl:
CCBot, kas veido Common Crawl bezmaksas publisko tīmekļa datu arhīvu.
Kā izskatās labs robots.txt MI rāpuļprogrammām?
Šis piemērs ielaiž MI meklēšanu un lietotāju pieprasījumus, atsakās no galvenajiem apmācības marķieriem un tur vienu privāto daļu slēgtu visiem:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Vairākas User-agent rindas pēc kārtas veido vienu grupu, tāpēc zem tām esošās kārtulas attiecas uz katru no šīm rāpuļprogrammām. Ja vēlaties, lai jūsu saturs tiktu izmantots apmācībai, vienkārši izlaidiet otro grupu. Google-Extended bloķēšana neietekmē Google Search: Google norāda, ka tā neietekmē iekļaušanu meklēšanā un nav ranžēšanas signāls. Līdzīgi Apple norāda, ka lapas, kas aizliedz Applebot-Extended, joprojām var parādīties tās meklēšanas rezultātos.
Kā rāpuļprogrammas izvēlas, kuras kārtulas uz tām attiecas?
RFC 9309 to nosaka precīzi, un detaļas izskaidro lielāko daļu pārsteigumu:
- Rāpuļprogramma meklē grupu, kuras
User-agentatbilst tās produkta marķierim, neņemot vērā reģistru. Ja atbilst vairākas grupas, to kārtulas tiek apvienotas. - Tikai tad, ja neviena grupa neatbilst, rāpuļprogramma ievēro grupu
User-agent: *. Nosaukta grupa no*neko nemanto. - Grupas ietvaros uzvar kārtula ar garāko atbilstošo ceļu.
Allow: /blog/ceļam/blog/postuzvarDisallow: /. - Ja kārtulas
AllowunDisallowatbilst ar vienādu garumu, jāizmantoAllow. *ceļā atbilst jebkurām rakstzīmēm, un$piesaista beigām, tāpēcDisallow: /*.pdf$aptver katru PDF.
Kādas ir biežākās robots.txt kļūdas?
- Gaidīt, ka nosaukta grupa mantos no
*. GrupaOAI-SearchBottikai arAllow: /atver katru ceļu, arī tos, ko aizliedzāt zem*. - robots.txt adrese, kas atgriež HTML lapu, bieži 404 lapu ar statusu 200. Rāpuļprogrammas tajā neatrod nevienu derīgu kārtulu.
- robots.txt, kas atgriež servera kļūdu. RFC 9309 nosaka, ka rāpuļprogrammai tad jāpieņem, ka visa vietne ir aizliegta. 404 ir kas cits: tas nozīmē, ka ierobežojumu nav.
- Meklēšanas marķiera bloķēšana, lai gan domāts bloķēt apmācību, piemēram,
PerplexityBotvaiClaude-SearchBotaizliegšana, lai izvairītos no modeļu apmācības. - Paļaušanās uz robots.txt, lai apturētu lietotāju pieprasītas ielādes. Gan OpenAI, gan Perplexity norāda, ka viņu lietotāju aģenti to var neievērot.
- Aizmirsti apakšdomēni. Katram resursdatoram ir savs robots.txt; Anthropic dokumentācija atgādina vietņu īpašniekiem pievienot kārtulas katram apakšdomēnam.
Vai varu paust MI izmantošanas politiku plašāk par atļaušanu un aizliegšanu?
Cloudflare ir ierosinājusi robots.txt rindu Content-Signal ar trim signāliem: search (meklēšanas indeksa veidošana un saišu un īsu fragmentu rādīšana), ai-input (satura izmantošana reāllaikā MI atbildēm) un ai-train (modeļu apmācība vai pielāgošana). Cloudflare pārvaldītais robots.txt var to pievienot jūsu vietā.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Tāpat kā viss robots.txt, tās ir vēlmes, nevis tehniskas kontroles. Pati Cloudflare atzīmē, ka robots.txt ievērošana ir brīvprātīga. Rinda nav obligāta un nekaitē, bet tā neaizstāj iepriekš aprakstītās grupas katrai rāpuļprogrammai.
Cik ilgā laikā izmaiņas stājas spēkā, un kā tās pārbaudīt?
RFC 9309 nosaka, ka rāpuļprogrammām nevajadzētu izmantot kešatmiņā saglabātu robots.txt ilgāk par 24 stundām, un gan OpenAI, gan Perplexity norāda, ka izmaiņu stāšanās spēkā var aizņemt aptuveni dienu. Atcerieties arī, ka robots.txt nav piekļuves kontrole: ugunsmūris joprojām var bloķēt rāpuļprogrammu, ko jūsu kārtulas atļauj.
AISeeWhy parsē jūsu robots.txt pēc RFC 9309 katrai pārbaudītajai rāpuļprogrammai, atzīmē failus, kas nav sasniedzami vai tiek izsniegti kā HTML, parāda, kur jūsu kārtulas un serveris nesaskan, un dod gatavu izmaiņu diff.
Labojumi šai problēmai
- robots.txt atļauj GPTBot, bet serveris to bloķē
- robots.txt aizliedz OAI-SearchBot
- robots.txt ir HTML lapa
- robots.txt nav Content-Signal
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai GPTBot vai ClaudeBot bloķēšana kaitē manai redzamībai MI atbildēs?
Tieši ne. Abi piegādātāji meklēšanai izmanto atsevišķas meklēšanas rāpuļprogrammas — OAI-SearchBot un Claude-SearchBot. Apmācības rāpuļprogrammas bloķēšana ir politikas izvēle.
Vai Google-Extended aptur AI Overviews?
Nē. Google norāda, ka MI funkcijas meklēšanā izmanto Googlebot un parastās Search kontroles, piemēram, nosnippet un noindex. Google-Extended aptver Gemini apmācību un pamatojumu citos Google produktos un neietekmē meklēšanu.
Vai MI rāpuļprogrammas atbalsta Crawl-delay?
Tas nav RFC 9309 daļa. Anthropic norāda, ka atbalsta Crawl-delay kā nestandarta paplašinājumu; par citiem piegādātājiem skatiet viņu dokumentāciju.
Kur jāatrodas robots.txt?
Katra resursdatora saknē, piemēram, https://example.com/robots.txt. Fails apakšmapē tiek ignorēts, un katram apakšdomēnam vajadzīgs savs.
Avoti
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI rāpuļprogrammu pārskats
- Google: Vispārējās rāpuļprogrammas, tostarp Google-Extended
- Apple: Par Applebot
- Cloudflare: Pārvaldītais robots.txt un Content Signals