Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI

Shkruani adresën e një faqeje: lexojmë robots.txt të sajtit dhe tregojmë, për çdo zvarritës AI dhe kërkimi, nëse mund ta marrë atë faqe. Ose ngjitni një robots.txt për ta testuar para se ta publikoni.

robots.txt është vetëm një kërkesë. Një firewall ose mbrojtje nga botët mund të bllokojë gjithsesi një zvarritës që robots.txt e lejon; kontrolli i plotë e teston këtë. Kryej kontrollin e plotë →

I njëjti kontroll për faqen e hapur, me një klikim: Kontrolli i zvarritësve AI ↗

Si e lexojnë zvarritësit AI robots.txt

Çdo zvarritës ndjek grupin që përmend token-in e tij (për shembull GPTBot ose PerplexityBot); vetëm nëse asnjë nuk e përmend, ndjek User-agent: *. Brenda një grupi fiton rregulli më i gjatë që përputhet, dhe Allow fiton në barazim. Bllokimi i zvarritësve të trajnimit si GPTBot, ClaudeBot ose Google-Extended e mban përmbajtjen tuaj jashtë trajnimit të modeleve; bllokimi i zvarritësve të kërkimit dhe të përdoruesve si OAI-SearchBot, ChatGPT-User ose PerplexityBot i mban faqet tuaja jashtë përgjigjeve AI.

Udhëzues

Si të përdorni testuesin e robots.txt

Ky tekst është përkthyer nga anglishtja me përkthim automatik.

Çfarë kontrollon ky testues i robots.txt

Shkruani adresën e një faqeje. Testuesi merr skemën dhe hostin e asaj adrese, lexon /robots.txt nga rrënja e atij hosti dhe vlerëson rregullat e tij për shtegun e faqes suaj. Ai i përgjigjet një pyetjeje për secilin nga 16 zvarritësit: a mund ta marrë ky zvarritës këtë faqe?

Zvarritësit janë grupuar sipas asaj që bëjnë. Zvarritësit e trajnimit mbledhin faqe për modelet AI: GPTBot, ClaudeBot, CCBot, Bytespider dhe Meta-ExternalAgent, si dhe token-ët vetëm për robots.txt Google-Extended dhe Applebot-Extended, që nuk vizitojnë kurrë vetë, por u tregojnë Google dhe Apple nëse mund të përdorin faqet që kanë marrë tashmë. Zvarritësit e kërkimit ndërtojnë indekset që citojnë përgjigjet e AI dhe rezultatet e kërkimit: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot dhe Applebot. Agjentët e përdoruesit marrin një faqe kur një person i kërkon një asistenti ta hapë: ChatGPT-User, Claude-User dhe Perplexity-User.

Mund të ngjitni edhe një robots.txt në vend të adresës. Atëherë nuk merret asgjë: testuesi vlerëson tekstin që ngjitët, kështu që mund ta provoni një ndryshim para se ta publikoni. Teksti i ngjitur përdoret vetëm për përgjigjen dhe nuk ruhet.

Si t'i lexoni rezultatet

Tabela ka një rresht për çdo zvarritës. Kolona për shtegun tuaj thotë Lejohet ose Bllokohet. Kolona e fundit tregon cila pjesë e skedarit vendosi:

Poshtë tabelës shihni rreshtat Sitemap që rendit skedari dhe rreshtin e tij Content-Signal, nëse ka. Nëse adresa ktheu një faqe interneti në vend të një skedari teksti, ose asnjë skedar, testuesi e thotë: zvarritësit e trajtojnë një faqe HTML në /robots.txt si skedar që mungon.

Një rresht që thotë Lejohet do të thotë vetëm që robots.txt nuk e ndalon atë zvarritës. Nuk do të thotë që zvarritësi do të vijë dhe nuk thotë asgjë për firewall-in tuaj.

Si i zgjedh rregullat një zvarritës

RFC 9309, standardi i robots.txt, vendos tre rregulla që shpjegojnë pothuajse çdo rezultat befasues. Një zvarritës fillimisht kërkon grupet, User-agent i të cilave përputhet me token-in e tij, pa dalluar shkronjat e mëdha nga të voglat. Nëse gjen një të tillë, ndjek vetëm ato grupe dhe e injoron plotësisht User-agent: *. Brenda grupit të zgjedhur fiton rregulli me shtegun më të gjatë që përputhet, dhe nëse një Allow dhe një Disallow përputhen me të njëjtën gjatësi, fiton Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Me këtë skedar, GPTBot bllokohet nga çdo faqe, sepse ka grupin e vet. Çdo zvarritës tjetër mund të marrë /private/press/kit.pdf, sepse Allow: /private/press/ është më i gjatë se Disallow: /private/, dhe bllokohet nga /private/notes/. Testoni të dy shtegët në testues dhe do të shihni vendimin të kalojë nga një grup te tjetri.

Gabime të zakonshme, me shembuj

Zvarritësit e trajnimit, të kërkimit dhe të përdoruesit: çfarë bën bllokimi i secilit

Bllokimi i një zvarritësi trajnimi është zgjedhje politike. Ai i mban faqet tuaja jashtë trajnimit të modeleve në të ardhmen dhe nuk ndikon nëse kërkimi me AI mund t'ju citojë sot. Bllokimi i një zvarritësi kërkimi si OAI-SearchBot, Claude-SearchBot ose PerplexityBot i mban faqet tuaja jashtë përgjigjeve të atij asistenti. Bllokimi i Googlebot ose Bingbot ju heq nga ato motorë kërkimi dhe nga funksionet AI të ndërtuara mbi to.

Agjentët e përdoruesit si ChatGPT-User veprojnë për një person që kërkoi faqen tuaj. Disa ofrues thonë se këta agjentë mund të mos e ndjekin robots.txt për kërkesa të tilla, ndaj një rregull për ta është kërkesë, jo garanci. Nëse doni trajnimin të fikur dhe kërkimin me AI të ndezur, bllokoni token-ët e trajnimit dhe lini të qetë token-ët e kërkimit dhe të përdoruesit.

Testoni para se të publikoni, pastaj testoni sërish

Ngjitni draftin në testues, vendosni shtegun e një faqeje të rëndësishme, si një faqe produkti ose çmimesh, dhe lexoni rreshtin e çdo zvarritësi që ju intereson. Përsëriteni me një shteg që donit ta bllokonit. Kur rezultatet përputhen me qëllimin tuaj, publikoni skedarin dhe kryeni sërish testuesin me adresën reale, gjë që provon se serveri kthen skedarin që redaktuat.

Zvarritësit e ruajnë robots.txt në cache; Google, për shembull, zakonisht e rifreskon kopjen brenda 24 orëve. Një ndryshim mund të duhet një ditë që të duket në sjelljen e tyre, dhe raporti i robots.txt në Google Search Console tregon kopjen që Google mori së fundi.

Kur robots.txt e lejon një zvarritës dhe ai prapë bllokohet

robots.txt është vetëm një kërkesë. Një firewall, një shërbim mbrojtjeje nga botët ose një rregull CDN mund t'i përgjigjet gjithsesi një zvarritësi me 403 ose një faqe sfide, ndërsa njerëzit e marrin faqen. Testuesi nuk e sheh këtë, sepse lexon vetëm një skedar. Kontrolli i plotë e merr faqen tuaj me user agent-in e çdo zvarritësi krahas një shfletuesi normal dhe tregon cili zvarritës merr përgjigje të ndryshme, me statusin HTTP dhe nënshkrimin e firewall-it.

Pyetje të shpeshta

A është e njëjta gjë me testuesin e robots.txt të Google?

Jo. Google e hoqi testuesin e vet të veçantë të robots.txt në 2023; raporti i robots.txt në Search Console tani tregon skedarin që mori Google dhe çdo gabim analize, vetëm për zvarritësit e Google. Ky testues zbaton të njëjtat rregulla RFC 9309 për 16 zvarritës AI dhe kërkimi njëkohësisht.

A do të thotë Lejohet që zvarritësi do ta lexojë ose citojë faqen time?

Jo. Do të thotë që robots.txt nuk e ndalon. Nëse zvarritësi e merr faqen varet nga serveri dhe firewall-i juaj, dhe nëse një asistent e citon varet nga përmbajtja juaj dhe nga pyetja e bërë.

Pse një zvarritës tregon "asnjë rregull"?

Skedari juaj nuk ka grup për token-in e tij dhe nuk ka grup User-agent: *, ndaj për të nuk zbatohet asgjë dhe çdo shteg lejohet.

A mund të testoj një robots.txt që nuk është publikuar ende?

Po. Ngjitni tekstin në fushën e dytë dhe shkruani shtegun për t'u testuar. Nga sajti juaj nuk merret asgjë dhe teksti i ngjitur nuk ruhet.

A dërgon testuesi kërkesa si GPTBot ose zvarritësit e tjerë?

Jo. Ai vetëm lexon robots.txt tuaj dhe zbaton rregullat. Për të parë çfarë merr realisht çdo zvarritës nga serveri juaj, kryeni kontrollin e plotë.

Sa shpesh mund ta përdor?

Është falas dhe nuk kërkon llogari. Që të mbetet i disponueshëm për të gjithë, nga çdo rrjet mund të kryhet një numër i kufizuar testesh në orë.

Mjete dhe udhëzues të ngjashëm