robots.txt për zvarritësit AI: çfarë të lejoni, çfarë të bllokoni
Jepini çdo zvarritësi AI që ju intereson grupin e vet User-agent. Lejoni zvarritësit e kërkimit si OAI-SearchBot, Claude-SearchBot dhe PerplexityBot nëse doni të citoheni, dhe vendosni veçmas për token-ët e trajnimit si GPTBot, ClaudeBot, Google-Extended dhe Applebot-Extended. Një grup me emër e zëvendëson grupin * për atë zvarritës.
robots.txt është një skedar teksti i thjeshtë që daton që nga 1994 dhe u bë standard formal, RFC 9309, në 2022. Shumica e ofruesve të AI thonë se zvarritësit e tyre e ndjekin, dhe disa publikojnë token-ë të veçantë për kërkimin dhe për trajnimin. Kjo e bën robots.txt vendin më të thjeshtë për të deklaruar një politikë për AI-në, me kusht që rregullat të nënkuptojnë atë që mendoni ju.
Në këtë faqe
- Cilët token-ë të robots.txt përdorin zvarritësit AI?
- Si duket një robots.txt i mirë për AI?
- Si zgjedhin zvarritësit cilat rregulla vlejnë për ta?
- Cilat janë gabimet më të shpeshta në robots.txt?
- A mund të deklaroj një politikë përdorimi për AI përtej lejimit dhe ndalimit?
- Sa kohë duan ndryshimet dhe si t'i kontrolloj?
Cilët token-ë të robots.txt përdorin zvarritësit AI?
Këta janë token-ët që dokumentojnë ofruesit. Sipas RFC 9309, përputhja nuk dallon shkronjat e mëdha nga të voglat.
- OpenAI:
OAI-SearchBot(kërkimi në ChatGPT),GPTBot(trajnimi),ChatGPT-User(vizitat me kërkesë të përdoruesit; OpenAI thotë se robots.txt mund të mos zbatohet). - Anthropic:
Claude-SearchBot(kërkimi),ClaudeBot(trajnimi),Claude-User(vizitat me kërkesë të përdoruesit). - Perplexity:
PerplexityBot(kërkimi),Perplexity-User(vizitat me kërkesë të përdoruesit; Perplexity thotë se në përgjithësi e shpërfill robots.txt). - Google:
Googlebot(Search, përfshirë funksionet e tij AI) dheGoogle-Extended, një token pa zvarritës më vete që kontrollon përdorimin në trajnimin dhe grounding-un e Gemini. - Apple:
Applebot(kërkimi në Spotlight, Siri, Safari) dheApplebot-Extended, që nuk zvarrit, por kontrollon përdorimin për trajnimin e modeleve bazë të Apple. - Meta:
meta-externalagent(trajnimi dhe indeksimi i produkteve) dhemeta-webindexer(kërkimi i Meta AI). - Common Crawl:
CCBot, që ndërton arkivin publik e falas të të dhënave të uebit të Common Crawl.
Si duket një robots.txt i mirë për AI?
Ky shembull lejon kërkimin me AI dhe marrjet për përdoruesit, refuzon token-ët kryesorë të trajnimit dhe mban një zonë private të mbyllur për të gjithë:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Disa rreshta User-agent njëri pas tjetrit formojnë një grup, ndaj rregullat poshtë tyre zbatohen për secilin nga ata zvarritës. Nëse doni që përmbajtja juaj të përdoret për trajnim, thjesht lëreni jashtë grupin e dytë. Bllokimi i Google-Extended nuk ndikon në Google Search: Google thotë se nuk ndikon në përfshirjen në Search dhe nuk është sinjal renditjeje. Po ashtu, Apple thotë se faqet që e ndalojnë Applebot-Extended mund të shfaqen ende në rezultatet e saj të kërkimit.
Si zgjedhin zvarritësit cilat rregulla vlejnë për ta?
RFC 9309 e përcakton këtë me saktësi, dhe detajet shpjegojnë shumicën e befasive:
- Një zvarritës kërkon grupin,
User-agenti të cilit përputhet me token-in e tij të produktit, pa dalluar shkronjat e mëdha nga të voglat. Nëse përputhen disa grupe, rregullat e tyre bashkohen në një. - Vetëm nëse nuk përputhet asnjë grup, zvarritësi ndjek grupin
User-agent: *. Një grup me emër nuk trashëgon asgjë nga*. - Brenda grupit fiton rregulli me shtegun më të gjatë që përputhet.
Allow: /blog/mundDisallow: /për/blog/post. - Nëse një rregull
Allowdhe njëDisallowpërputhen me të njëjtën gjatësi, duhet përdorurAllow. *në një shteg përputhet me çfarëdo karakteresh dhe$shënon fundin, ndajDisallow: /*.pdf$mbulon çdo PDF.
Cilat janë gabimet më të shpeshta në robots.txt?
- Të pritet që një grup me emër të trashëgojë nga
*. Një grup përOAI-SearchBotme vetëmAllow: /hap çdo shteg, përfshirë ato që i keni ndaluar nën*. - Një adresë robots.txt që kthen një faqe HTML, shpesh një faqe 404 e shërbyer me status 200. Zvarritësit nuk gjejnë aty asnjë rregull të vlefshëm.
- Një robots.txt që kthen gabim serveri. RFC 9309 thotë se atëherë zvarritësi duhet të supozojë që i gjithë sajti është i ndaluar. Një 404 është ndryshe: do të thotë që nuk ka kufizime.
- Bllokimi i një token-i kërkimi kur synimi është të bllokohet trajnimi, për shembull ndalimi i
PerplexityBotoseClaude-SearchBotpër të shmangur trajnimin e modeleve. - Mbështetja te robots.txt për të ndaluar marrjet që kërkon përdoruesi. Si OpenAI ashtu edhe Perplexity thonë se user agent-ët e tyre mund të mos e ndjekin.
- Harresa e nëndomeneve. Çdo host ka robots.txt-në e vet; dokumentacioni i Anthropic u kujton pronarëve të sajteve të shtojnë rregulla për çdo nëndomen.
A mund të deklaroj një politikë përdorimi për AI përtej lejimit dhe ndalimit?
Cloudflare ka propozuar për robots.txt një rresht Content-Signal me tre sinjale: search (ndërtimi i një indeksi kërkimi dhe shfaqja e lidhjeve dhe fragmenteve të shkurtra), ai-input (përdorimi i përmbajtjes në kohë reale për përgjigjet e AI) dhe ai-train (trajnimi ose fine-tuning i modeleve). robots.txt i menaxhuar i Cloudflare mund ta shtojë për ju.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Si gjithçka në robots.txt, këto janë preferenca, jo kontrolle teknike. Vetë Cloudflare vëren se respektimi i robots.txt është vullnetar. Rreshti është opsional dhe nuk dëmton, por nuk i zëvendëson grupet për çdo zvarritës më sipër.
Sa kohë duan ndryshimet dhe si t'i kontrolloj?
RFC 9309 thotë se zvarritësit nuk duhet të përdorin një robots.txt të ruajtur në cache për më shumë se 24 orë, dhe si OpenAI ashtu edhe Perplexity thonë se ndryshimeve mund t'u duhet rreth një ditë për t'u zbatuar. Mbani mend gjithashtu që robots.txt nuk është kontroll qasjeje: një firewall mund ta bllokojë ende një zvarritës që rregullat tuaja e lejojnë.
AISeeWhy e analizon robots.txt-në tuaj sipas RFC 9309 për çdo zvarritës që teston, shënon skedarët që nuk arrihen ose që shërbehen si HTML, tregon ku nuk pajtohen rregullat tuaja me serverin dhe jep një diff gati për ndryshimin.
Rregullime për këtë problem
- robots.txt e lejon GPTBot, por serveri e bllokon
- robots.txt e ndalon OAI-SearchBot
- robots.txt është faqe HTML
- Nuk ka Content-Signal në robots.txt
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A e dëmton dukshmërinë time në përgjigjet e AI bllokimi i GPTBot ose ClaudeBot?
Jo drejtpërdrejt. Të dy ofruesit përdorin zvarritës të veçantë kërkimi, OAI-SearchBot dhe Claude-SearchBot, për kërkimin. Bllokimi i zvarritësit të trajnimit është zgjedhje politike.
A i ndalon Google-Extended AI Overviews?
Jo. Google thotë se funksionet AI në Search përdorin Googlebot dhe kontrollet e zakonshme të Search si nosnippet dhe noindex. Google-Extended mbulon trajnimin dhe grounding-un e Gemini në produkte të tjera të Google dhe nuk ndikon në Search.
A e mbështesin zvarritësit AI Crawl-delay?
Ai nuk është pjesë e RFC 9309. Anthropic thotë se e mbështet Crawl-delay si zgjerim jostandard; për ofruesit e tjerë, kontrolloni dokumentacionin e tyre.
Ku duhet të ndodhet robots.txt?
Në rrënjën e çdo hosti, për shembull https://example.com/robots.txt. Një skedar në një nëndosje shpërfillet, dhe çdo nëndomen ka nevojë për skedarin e vet.
Burimet
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- Google: Zvarritësit e zakonshëm, përfshirë Google-Extended
- Apple: Rreth Applebot
- Cloudflare: robots.txt i menaxhuar dhe Content Signals