robots.txt za AI crawlere: što dopustiti, a što blokirati
Svakom AI crawleru do kojeg vam je stalo dajte vlastitu grupu User-agent. Dopustite crawlere za pretraživanje kao što su OAI-SearchBot, Claude-SearchBot i PerplexityBot ako želite biti citirani, a o tokenima za treniranje kao što su GPTBot, ClaudeBot, Google-Extended i Applebot-Extended odlučite zasebno. Imenovana grupa za taj crawler zamjenjuje grupu *.
robots.txt je obična tekstna datoteka koja potječe iz 1994., a 2022. postala je službeni standard, RFC 9309. Većina AI dobavljača navodi da ga njihovi crawleri poštuju, a nekoliko ih objavljuje zasebne tokene za pretraživanje i za treniranje. Zbog toga je robots.txt najjednostavnije mjesto za izražavanje pravila za AI, pod uvjetom da pravila znače ono što mislite da znače.
Na ovoj stranici
Koje tokene u robots.txt koriste AI crawleri?
Ovo su tokeni koje dobavljači dokumentiraju. Prema RFC 9309 podudaranje ne razlikuje velika i mala slova.
- OpenAI:
OAI-SearchBot(pretraživanje u ChatGPT-u),GPTBot(treniranje),ChatGPT-User(posjeti na zahtjev korisnika; OpenAI navodi da se robots.txt možda ne primjenjuje). - Anthropic:
Claude-SearchBot(pretraživanje),ClaudeBot(treniranje),Claude-User(posjeti na zahtjev korisnika). - Perplexity:
PerplexityBot(pretraživanje),Perplexity-User(posjeti na zahtjev korisnika; Perplexity navodi da uglavnom zanemaruje robots.txt). - Google:
Googlebot(pretraživanje, uključujući njegove AI značajke) iGoogle-Extended, token bez vlastitog crawlera koji upravlja korištenjem za treniranje i utemeljenje (grounding) modela Gemini. - Apple:
Applebot(Spotlight, Siri, pretraživanje u Safariju) iApplebot-Extended, koji ne indeksira, ali upravlja korištenjem za treniranje Appleovih temeljnih modela. - Meta:
meta-externalagent(treniranje i indeksiranje proizvoda) imeta-webindexer(pretraživanje Meta AI). - Common Crawl:
CCBot, koji gradi besplatnu javnu arhivu web-podataka Common Crawl.
Kako izgleda dobar robots.txt za AI?
Ovaj primjer propušta AI pretraživanje i dohvaćanje za korisnike, isključuje glavne tokene za treniranje i jedan privatni dio drži zatvorenim za sve:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Nekoliko redaka User-agent zaredom čini jednu grupu, pa se pravila ispod njih primjenjuju na svakog od tih crawlera. Ako želite da se vaš sadržaj koristi za treniranje, jednostavno izostavite drugu grupu. Blokiranje Google-Extended ne utječe na Google pretraživanje: Google navodi da ne utječe na uključivanje u pretraživanje i nije signal za rangiranje. Slično tome, Apple navodi da se stranice koje zabranjuju Applebot-Extended i dalje mogu pojavljivati u njegovim rezultatima pretraživanja.
Kako crawleri biraju koja se pravila na njih primjenjuju?
RFC 9309 to precizno definira, a detalji objašnjavaju većinu iznenađenja:
- Crawler traži grupu čiji
User-agentodgovara njegovu tokenu proizvoda, bez obzira na velika i mala slova. Ako odgovara nekoliko grupa, njihova se pravila spajaju u jednu. - Crawler slijedi grupu
User-agent: *samo ako mu ne odgovara nijedna grupa. Imenovana grupa ne nasljeđuje ništa iz*. - Unutar grupe pobjeđuje pravilo s najduljom putanjom koja se podudara.
Allow: /blog/za/blog/postima prednost predDisallow: /. - Ako se pravila
AllowiDisallowpodudaraju s jednakom duljinom, treba primijenitiAllow. *u putanji odgovara bilo kojim znakovima, a$označava kraj, paDisallow: /*.pdf$obuhvaća svaki PDF.
Koje su najčešće pogreške u robots.txt?
- Očekivanje da imenovana grupa nasljeđuje pravila iz
*. Grupa zaOAI-SearchBotsa samoAllow: /otvara sve putanje, uključujući one koje ste zabranili pod*. - Adresa robots.txt koja vraća HTML stranicu, često stranicu 404 poslanu sa statusom 200. Crawleri u njoj ne pronalaze nijedno valjano pravilo.
- robots.txt koji vraća pogrešku poslužitelja. RFC 9309 navodi da crawler tada mora pretpostaviti da je cijela web-stranica zabranjena. 404 je nešto drugo: znači da nema ograničenja.
- Blokiranje tokena za pretraživanje s namjerom blokiranja treniranja, na primjer zabrana za
PerplexityBotiliClaude-SearchBotkako bi se izbjeglo treniranje modela. - Oslanjanje na robots.txt za zaustavljanje dohvaćanja koja zatraže korisnici. I OpenAI i Perplexity navode da ga njihovi korisnički agenti možda ne poštuju.
- Zaboravljene poddomene. Svaki host ima vlastiti robots.txt; Anthropicova dokumentacija podsjeća vlasnike web-stranica da dodaju pravila za svaku poddomenu.
Mogu li izraziti pravila korištenja za AI izvan dopuštanja i zabrane?
Cloudflare je predložio redak Content-Signal za robots.txt s tri signala: search (izgradnja indeksa pretraživanja i prikaz poveznica i kratkih isječaka), ai-input (korištenje sadržaja u stvarnom vremenu za AI odgovore) i ai-train (treniranje ili dodatno podešavanje modela). Cloudflareov upravljani robots.txt može ga dodati umjesto vas.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kao i sve u robots.txt, to su želje, a ne tehničke kontrole. Sam Cloudflare napominje da je poštovanje robots.txt dobrovoljno. Redak nije obavezan i ne šteti, ali ne zamjenjuje grupe za pojedine crawlere navedene gore.
Koliko traju promjene i kako ih provjeriti?
RFC 9309 navodi da crawleri ne bi trebali koristiti predmemorirani robots.txt dulje od 24 sata, a i OpenAI i Perplexity navode da promjene mogu trebati otprilike dan da se primijene. Imajte na umu i da robots.txt nije kontrola pristupa: vatrozid i dalje može blokirati crawler koji vaša pravila dopuštaju.
AISeeWhy raščlanjuje vaš robots.txt prema RFC 9309 za svaki crawler koji testira, označava datoteke koje nisu dostupne ili se poslužuju kao HTML, pokazuje gdje se vaša pravila i vaš poslužitelj ne slažu i daje gotov diff za promjenu.
Ispravci za ovaj problem
- robots.txt dopušta GPTBot, ali ga poslužitelj blokira
- robots.txt zabranjuje OAI-SearchBot
- robots.txt je HTML stranica
- U robots.txt nema Content-Signal
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Šteti li blokiranje GPTBota ili ClaudeBota mojoj vidljivosti u AI odgovorima?
Ne izravno. Oba dobavljača za pretraživanje koriste zasebne crawlere, OAI-SearchBot i Claude-SearchBot. Blokiranje crawlera za treniranje izbor je pravila.
Zaustavlja li Google-Extended AI Overviews?
Ne. Google navodi da AI značajke u pretraživanju koriste Googlebot i uobičajene kontrole pretraživanja kao što su nosnippet i noindex. Google-Extended obuhvaća treniranje i utemeljenje modela Gemini u drugim Googleovim proizvodima i ne utječe na pretraživanje.
Podržavaju li AI crawleri Crawl-delay?
To nije dio RFC 9309. Anthropic navodi da podržava Crawl-delay kao nestandardno proširenje; za ostale dobavljače provjerite njihovu dokumentaciju.
Gdje se mora nalaziti robots.txt?
U korijenu svakog hosta, na primjer https://example.com/robots.txt. Datoteka u podmapi se zanemaruje, a svaka poddomena treba vlastitu.
Izvori
- RFC 9309: Robots Exclusion Protocol
- OpenAI: pregled crawlera OpenAI-ja
- Google: uobičajeni crawleri, uključujući Google-Extended
- Apple: O Applebotu
- Cloudflare: upravljani robots.txt i Content Signals