Zgjidhni cilët zvarritës AI mund ta lexojnë sajtin tuaj dhe kopjoni robots.txt e gjeneruar. Një zgjedhje e zakonshme është të bllokohen zvarritësit e trajnimit AI si GPTBot dhe ClaudeBot, por të lejohen zvarritësit e kërkimit me AI si OAI-SearchBot dhe PerplexityBot, që faqet tuaja të vazhdojnë të shfaqen dhe të citohen në përgjigjet AI.
Bllokimi i marrësve me kërkesë të përdoruesit ka efekt të kufizuar: disa ofrues thonë se këta agjentë mund të mos e ndjekin robots.txt, sepse faqen e kërkoi një person. Testojeni rezultatin me kontrolluesin e robots.txt para se ta publikoni. Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI →
Si ta përdorni
Vendoseni skedarin në rrënjën e domenit tuaj (https://example.com/robots.txt). Nëse keni tashmë rregulla për zvarritës të tjerë, mbajini dhe shtoni vetëm grupet AI. Ndryshimet hyjnë në fuqi herën tjetër që secili zvarritës e lexon skedarin, zakonisht brenda një dite.
Ky tekst është përkthyer nga anglishtja me përkthim automatik.
Çfarë shkruan gjeneruesi
Shënoni zvarritësit që mund ta lexojnë sajtin tuaj dhe hiqni shenjën nga ata që doni t'i bllokoni. Gjeneruesi shkruan një robots.txt me një grup për çdo zvarritës të bllokuar, User-agent: <token> i ndjekur nga Disallow: /, pastaj një grup përmbyllës User-agent: * që lejon gjithçka tjetër. Shtoni një adresë sitemap dhe ai shton një rresht Sitemap. Shënoni opsionet Content-Signal dhe ai shton një rresht Content-Signal që tregon si mund të përdoret përmbajtja juaj.
Asgjë nuk largohet nga shfletuesi juaj: skedari ndërtohet në faqe ndërsa klikoni, dhe ju e kopjoni nga kutia e daljes.
Nga cili paravendosje të filloni
Lejo të gjithë: çdo zvarritës mund të lexojë çdo faqe. E përshtatshme për shumicën e sajteve që duan të gjenden dhe të citohen.
Blloko trajnimin, lejo kërkimin me AI: zvarritësit e trajnimit si GPTBot, ClaudeBot, CCBot dhe Google-Extended bllokohen; zvarritësit e kërkimit dhe të përdoruesit si OAI-SearchBot, Claude-SearchBot, PerplexityBot dhe ChatGPT-User mbeten të lejuar. Faqet tuaja mund të shfaqen dhe të citohen ende në përgjigjet e AI.
Blloko të gjithë zvarritësit AI: çdo zvarritës AI në listë bllokohet. Faqet tuaja nuk do të merren nga ata zvarritës për përgjigjet e AI, gjë që zakonisht do të thotë më pak citime dhe më pak trafik nga asistentët.
Një shembull: blloko trajnimin, lejo kërkimin me AI
Çdo zvarritës i bllokuar ka grupin e vet, ndaj Disallow: / i tij vlen vetëm për të. Të gjithë zvarritësit e tjerë, përfshirë OAI-SearchBot dhe Googlebot, bien te User-agent: * dhe mund të lexojnë gjithçka. Rreshti Content-Signal përsërit të njëjtin qëllim për zvarritësit që e lexojnë: kërkimi dhe përgjigjet në kohë reale po, trajnimi jo.
Bashkoni, mos zëvendësoni. Nëse robots.txt juaj aktual ka rregulla për zonat e administrimit, shportat ose faqet e kërkimit, kopjojini ato në grupin User-agent: * të skedarit të ri, përndryshe do t'ua hapni ato zona të gjithë zvarritësve.
Vendoseni skedarin në rrënjën e çdo hosti: https://example.com/robots.txt. Një nëndomen ka nevojë për skedarin e vet.
Shërbejeni si tekst të thjeshtë me statusin 200. Një faqe HTML ose një gabim në atë adresë nuk funksionon si robots.txt.
Ngjitni rezultatin në testuesin e robots.txt dhe kontrolloni disa shtigje reale për zvarritësit që ju interesojnë.
Mbani mend që robots.txt është një kërkesë. Nëse një firewall bllokon një zvarritës që ju e lejoni, skedari nuk mund ta rregullojë; kontrolli i plotë e tregon.
Gabime të zakonshme
Bllokimi i OAI-SearchBot ose PerplexityBot për të ndaluar trajnimin. Këta janë zvarritës kërkimi; bllokimi i tyre ju heq nga përgjigjet.
Shkrimi i disa rreshtave User-agent mbi një Disallow: / të vetëm kur donit të bllokonit vetëm njërin prej tyre: rreshtat njëri pas tjetrit formojnë një grup.
Pritja që marrësit e kërkuar nga përdoruesi si ChatGPT-User t'i binden një bllokimi. Disa ofrues thonë se këta agjentë mund të mos e ndjekin robots.txt kur faqen e ka kërkuar një person.
Shtimi i rreshtave Crawl-delay ose Noindex. Ata nuk janë pjesë e RFC 9309 dhe Google i injoron të dy.
Pyetje të shpeshta
A do ta heqë sajtin tim nga ChatGPT bllokimi i GPTBot?
Jo. GPTBot mbledh të dhëna trajnimi. Kërkimi i ChatGPT përdor OAI-SearchBot, dhe ChatGPT-User hap faqet që kërkojnë njerëzit. Lërini ata të lejuar nëse doni të citoheni.
Çfarë është Content-Signal?
Një rresht në robots.txt që tregon si mund të përdoret përmbajtja juaj: search, ai-input (përgjigje në kohë reale) dhe ai-train (trajnim), secili po ose jo. Mbështetja ndryshon sipas ofruesit; zvarritësit vazhdojnë të ndjekin grupet specifike për çdo zvarritës.
A ndikon Google-Extended në Google Search?
Jo. Është një token vetëm për robots.txt që kontrollon nëse Google mund t'i përdorë faqet tuaja për modelet e veta AI; nuk ndryshon zvarritjen ose renditjen në Google Search.
A dërgohet diku zgjedhja ime?
Jo. Gjeneruesi punon në shfletuesin tuaj dhe asgjë nuk i dërgohet serverit tonë derisa të zgjidhni ta testoni skedarin.