robots.txt za AI crawlere: što dopustiti, a što blokirati

Objavljeno

Kratki odgovor

Svakom AI crawleru do kojeg vam je stalo dajte vlastitu grupu User-agent. Dopustite crawlere za pretraživanje kao što su OAI-SearchBot, Claude-SearchBot i PerplexityBot ako želite biti citirani, a o tokenima za treniranje kao što su GPTBot, ClaudeBot, Google-Extended i Applebot-Extended odlučite zasebno. Imenovana grupa za taj crawler zamjenjuje grupu *.

robots.txt je obična tekstna datoteka koja potječe iz 1994., a 2022. postala je službeni standard, RFC 9309. Većina AI dobavljača navodi da ga njihovi crawleri poštuju, a nekoliko ih objavljuje zasebne tokene za pretraživanje i za treniranje. Zbog toga je robots.txt najjednostavnije mjesto za izražavanje pravila za AI, pod uvjetom da pravila znače ono što mislite da znače.

Na ovoj stranici
  1. Koje tokene u robots.txt koriste AI crawleri?
  2. Kako izgleda dobar robots.txt za AI?
  3. Kako crawleri biraju koja se pravila na njih primjenjuju?
  4. Koje su najčešće pogreške u robots.txt?
  5. Mogu li izraziti pravila korištenja za AI izvan dopuštanja i zabrane?
  6. Koliko traju promjene i kako ih provjeriti?

Koje tokene u robots.txt koriste AI crawleri?

Ovo su tokeni koje dobavljači dokumentiraju. Prema RFC 9309 podudaranje ne razlikuje velika i mala slova.

Kako izgleda dobar robots.txt za AI?

Ovaj primjer propušta AI pretraživanje i dohvaćanje za korisnike, isključuje glavne tokene za treniranje i jedan privatni dio drži zatvorenim za sve:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Nekoliko redaka User-agent zaredom čini jednu grupu, pa se pravila ispod njih primjenjuju na svakog od tih crawlera. Ako želite da se vaš sadržaj koristi za treniranje, jednostavno izostavite drugu grupu. Blokiranje Google-Extended ne utječe na Google pretraživanje: Google navodi da ne utječe na uključivanje u pretraživanje i nije signal za rangiranje. Slično tome, Apple navodi da se stranice koje zabranjuju Applebot-Extended i dalje mogu pojavljivati u njegovim rezultatima pretraživanja.

Kako crawleri biraju koja se pravila na njih primjenjuju?

RFC 9309 to precizno definira, a detalji objašnjavaju većinu iznenađenja:

Koje su najčešće pogreške u robots.txt?

Mogu li izraziti pravila korištenja za AI izvan dopuštanja i zabrane?

Cloudflare je predložio redak Content-Signal za robots.txt s tri signala: search (izgradnja indeksa pretraživanja i prikaz poveznica i kratkih isječaka), ai-input (korištenje sadržaja u stvarnom vremenu za AI odgovore) i ai-train (treniranje ili dodatno podešavanje modela). Cloudflareov upravljani robots.txt može ga dodati umjesto vas.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Kao i sve u robots.txt, to su želje, a ne tehničke kontrole. Sam Cloudflare napominje da je poštovanje robots.txt dobrovoljno. Redak nije obavezan i ne šteti, ali ne zamjenjuje grupe za pojedine crawlere navedene gore.

Koliko traju promjene i kako ih provjeriti?

RFC 9309 navodi da crawleri ne bi trebali koristiti predmemorirani robots.txt dulje od 24 sata, a i OpenAI i Perplexity navode da promjene mogu trebati otprilike dan da se primijene. Imajte na umu i da robots.txt nije kontrola pristupa: vatrozid i dalje može blokirati crawler koji vaša pravila dopuštaju.

AISeeWhy raščlanjuje vaš robots.txt prema RFC 9309 za svaki crawler koji testira, označava datoteke koje nisu dostupne ili se poslužuju kao HTML, pokazuje gdje se vaša pravila i vaš poslužitelj ne slažu i daje gotov diff za promjenu.

Ispravci za ovaj problem

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Šteti li blokiranje GPTBota ili ClaudeBota mojoj vidljivosti u AI odgovorima?

Ne izravno. Oba dobavljača za pretraživanje koriste zasebne crawlere, OAI-SearchBot i Claude-SearchBot. Blokiranje crawlera za treniranje izbor je pravila.

Zaustavlja li Google-Extended AI Overviews?

Ne. Google navodi da AI značajke u pretraživanju koriste Googlebot i uobičajene kontrole pretraživanja kao što su nosnippet i noindex. Google-Extended obuhvaća treniranje i utemeljenje modela Gemini u drugim Googleovim proizvodima i ne utječe na pretraživanje.

Podržavaju li AI crawleri Crawl-delay?

To nije dio RFC 9309. Anthropic navodi da podržava Crawl-delay kao nestandardno proširenje; za ostale dobavljače provjerite njihovu dokumentaciju.

Gdje se mora nalaziti robots.txt?

U korijenu svakog hosta, na primjer https://example.com/robots.txt. Datoteka u podmapi se zanemaruje, a svaka poddomena treba vlastitu.

Izvori

Još članaka