Gjeneruesi i robots.txt për zvarritësit AI

Zgjidhni cilët zvarritës AI mund ta lexojnë sajtin tuaj dhe kopjoni robots.txt e gjeneruar. Një zgjedhje e zakonshme është të bllokohen zvarritësit e trajnimit AI si GPTBot dhe ClaudeBot, por të lejohen zvarritësit e kërkimit me AI si OAI-SearchBot dhe PerplexityBot, që faqet tuaja të vazhdojnë të shfaqen dhe të citohen në përgjigjet AI.

Nis nga
Trajnim AI
Kërkim me AI
Marrje me kërkesë të përdoruesit
Content-Signal (opsionale): shënoni çfarë lejoni

Bllokimi i marrësve me kërkesë të përdoruesit ka efekt të kufizuar: disa ofrues thonë se këta agjentë mund të mos e ndjekin robots.txt, sepse faqen e kërkoi një person. Testojeni rezultatin me kontrolluesin e robots.txt para se ta publikoni. Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI →

Si ta përdorni

Vendoseni skedarin në rrënjën e domenit tuaj (https://example.com/robots.txt). Nëse keni tashmë rregulla për zvarritës të tjerë, mbajini dhe shtoni vetëm grupet AI. Ndryshimet hyjnë në fuqi herën tjetër që secili zvarritës e lexon skedarin, zakonisht brenda një dite.

Kryej kontrollin e plotë →

Udhëzues

Si të përdorni gjeneruesin e robots.txt

Ky tekst është përkthyer nga anglishtja me përkthim automatik.

Çfarë shkruan gjeneruesi

Shënoni zvarritësit që mund ta lexojnë sajtin tuaj dhe hiqni shenjën nga ata që doni t'i bllokoni. Gjeneruesi shkruan një robots.txt me një grup për çdo zvarritës të bllokuar, User-agent: <token> i ndjekur nga Disallow: /, pastaj një grup përmbyllës User-agent: * që lejon gjithçka tjetër. Shtoni një adresë sitemap dhe ai shton një rresht Sitemap. Shënoni opsionet Content-Signal dhe ai shton një rresht Content-Signal që tregon si mund të përdoret përmbajtja juaj.

Asgjë nuk largohet nga shfletuesi juaj: skedari ndërtohet në faqe ndërsa klikoni, dhe ju e kopjoni nga kutia e daljes.

Nga cili paravendosje të filloni

Një shembull: blloko trajnimin, lejo kërkimin me AI

Çdo zvarritës i bllokuar ka grupin e vet, ndaj Disallow: / i tij vlen vetëm për të. Të gjithë zvarritësit e tjerë, përfshirë OAI-SearchBot dhe Googlebot, bien te User-agent: * dhe mund të lexojnë gjithçka. Rreshti Content-Signal përsërit të njëjtin qëllim për zvarritësit që e lexojnë: kërkimi dhe përgjigjet në kohë reale po, trajnimi jo.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Para se të publikoni

Gabime të zakonshme

Pyetje të shpeshta

A do ta heqë sajtin tim nga ChatGPT bllokimi i GPTBot?

Jo. GPTBot mbledh të dhëna trajnimi. Kërkimi i ChatGPT përdor OAI-SearchBot, dhe ChatGPT-User hap faqet që kërkojnë njerëzit. Lërini ata të lejuar nëse doni të citoheni.

Çfarë është Content-Signal?

Një rresht në robots.txt që tregon si mund të përdoret përmbajtja juaj: search, ai-input (përgjigje në kohë reale) dhe ai-train (trajnim), secili po ose jo. Mbështetja ndryshon sipas ofruesit; zvarritësit vazhdojnë të ndjekin grupet specifike për çdo zvarritës.

A ndikon Google-Extended në Google Search?

Jo. Është një token vetëm për robots.txt që kontrollon nëse Google mund t'i përdorë faqet tuaja për modelet e veta AI; nuk ndryshon zvarritjen ose renditjen në Google Search.

A dërgohet diku zgjedhja ime?

Jo. Gjeneruesi punon në shfletuesin tuaj dhe asgjë nuk i dërgohet serverit tonë derisa të zgjidhni ta testoni skedarin.

Mjete dhe udhëzues të ngjashëm