robots.txt për zvarritësit AI: çfarë të lejoni, çfarë të bllokoni

Publikuar

Përgjigje e shkurtër

Jepini çdo zvarritësi AI që ju intereson grupin e vet User-agent. Lejoni zvarritësit e kërkimit si OAI-SearchBot, Claude-SearchBot dhe PerplexityBot nëse doni të citoheni, dhe vendosni veçmas për token-ët e trajnimit si GPTBot, ClaudeBot, Google-Extended dhe Applebot-Extended. Një grup me emër e zëvendëson grupin * për atë zvarritës.

robots.txt është një skedar teksti i thjeshtë që daton që nga 1994 dhe u bë standard formal, RFC 9309, në 2022. Shumica e ofruesve të AI thonë se zvarritësit e tyre e ndjekin, dhe disa publikojnë token-ë të veçantë për kërkimin dhe për trajnimin. Kjo e bën robots.txt vendin më të thjeshtë për të deklaruar një politikë për AI-në, me kusht që rregullat të nënkuptojnë atë që mendoni ju.

Në këtë faqe
  1. Cilët token-ë të robots.txt përdorin zvarritësit AI?
  2. Si duket një robots.txt i mirë për AI?
  3. Si zgjedhin zvarritësit cilat rregulla vlejnë për ta?
  4. Cilat janë gabimet më të shpeshta në robots.txt?
  5. A mund të deklaroj një politikë përdorimi për AI përtej lejimit dhe ndalimit?
  6. Sa kohë duan ndryshimet dhe si t'i kontrolloj?

Cilët token-ë të robots.txt përdorin zvarritësit AI?

Këta janë token-ët që dokumentojnë ofruesit. Sipas RFC 9309, përputhja nuk dallon shkronjat e mëdha nga të voglat.

Si duket një robots.txt i mirë për AI?

Ky shembull lejon kërkimin me AI dhe marrjet për përdoruesit, refuzon token-ët kryesorë të trajnimit dhe mban një zonë private të mbyllur për të gjithë:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Disa rreshta User-agent njëri pas tjetrit formojnë një grup, ndaj rregullat poshtë tyre zbatohen për secilin nga ata zvarritës. Nëse doni që përmbajtja juaj të përdoret për trajnim, thjesht lëreni jashtë grupin e dytë. Bllokimi i Google-Extended nuk ndikon në Google Search: Google thotë se nuk ndikon në përfshirjen në Search dhe nuk është sinjal renditjeje. Po ashtu, Apple thotë se faqet që e ndalojnë Applebot-Extended mund të shfaqen ende në rezultatet e saj të kërkimit.

Si zgjedhin zvarritësit cilat rregulla vlejnë për ta?

RFC 9309 e përcakton këtë me saktësi, dhe detajet shpjegojnë shumicën e befasive:

Cilat janë gabimet më të shpeshta në robots.txt?

A mund të deklaroj një politikë përdorimi për AI përtej lejimit dhe ndalimit?

Cloudflare ka propozuar për robots.txt një rresht Content-Signal me tre sinjale: search (ndërtimi i një indeksi kërkimi dhe shfaqja e lidhjeve dhe fragmenteve të shkurtra), ai-input (përdorimi i përmbajtjes në kohë reale për përgjigjet e AI) dhe ai-train (trajnimi ose fine-tuning i modeleve). robots.txt i menaxhuar i Cloudflare mund ta shtojë për ju.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Si gjithçka në robots.txt, këto janë preferenca, jo kontrolle teknike. Vetë Cloudflare vëren se respektimi i robots.txt është vullnetar. Rreshti është opsional dhe nuk dëmton, por nuk i zëvendëson grupet për çdo zvarritës më sipër.

Sa kohë duan ndryshimet dhe si t'i kontrolloj?

RFC 9309 thotë se zvarritësit nuk duhet të përdorin një robots.txt të ruajtur në cache për më shumë se 24 orë, dhe si OpenAI ashtu edhe Perplexity thonë se ndryshimeve mund t'u duhet rreth një ditë për t'u zbatuar. Mbani mend gjithashtu që robots.txt nuk është kontroll qasjeje: një firewall mund ta bllokojë ende një zvarritës që rregullat tuaja e lejojnë.

AISeeWhy e analizon robots.txt-në tuaj sipas RFC 9309 për çdo zvarritës që teston, shënon skedarët që nuk arrihen ose që shërbehen si HTML, tregon ku nuk pajtohen rregullat tuaja me serverin dhe jep një diff gati për ndryshimin.

Rregullime për këtë problem

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A e dëmton dukshmërinë time në përgjigjet e AI bllokimi i GPTBot ose ClaudeBot?

Jo drejtpërdrejt. Të dy ofruesit përdorin zvarritës të veçantë kërkimi, OAI-SearchBot dhe Claude-SearchBot, për kërkimin. Bllokimi i zvarritësit të trajnimit është zgjedhje politike.

A i ndalon Google-Extended AI Overviews?

Jo. Google thotë se funksionet AI në Search përdorin Googlebot dhe kontrollet e zakonshme të Search si nosnippet dhe noindex. Google-Extended mbulon trajnimin dhe grounding-un e Gemini në produkte të tjera të Google dhe nuk ndikon në Search.

A e mbështesin zvarritësit AI Crawl-delay?

Ai nuk është pjesë e RFC 9309. Anthropic thotë se e mbështet Crawl-delay si zgjerim jostandard; për ofruesit e tjerë, kontrolloni dokumentacionin e tyre.

Ku duhet të ndodhet robots.txt?

Në rrënjën e çdo hosti, për shembull https://example.com/robots.txt. Një skedar në një nëndosje shpërfillet, dhe çdo nëndomen ka nevojë për skedarin e vet.

Burimet

Më shumë artikuj