Si të kontrolloni nëse një sajt bllokon zvarritësit AI
Ngjitni çdo adresë dhe shihni nëse bllokon GPTBot, ClaudeBot, PerplexityBot dhe zvarritësit e tjerë AI: në robots.txt, në firewall, ose në të dyja.
Falas · Pa regjistrim · Rezultate për 30 sekonda
Cilët zvarritës janë të bllokuar
Zvarritësit e trajnimit, të kërkimit dhe të përdoruesit shfaqen veçmas, sepse bllokimi i GPTBot nuk bllokon OAI-SearchBot, dhe bllokimi i ClaudeBot nuk bllokon Claude-SearchBot.
Rreshti që vendos
Për çdo zvarritës, robots.txt lexohet sipas rregullave të RFC 9309: grupi që e emërton atë, ose User-agent: * si zgjidhje rezervë, dhe rregulli që fiton.
Refuzimet nga firewall-i
Faqja kërkohet si 14 zvarritës dhe si një shfletues i zakonshëm. Bllokimet dhe faqet e sfidës shënohen dhe emërtohet firewall-i që ktheu përgjigjen.
Një zgjidhje për çdo gjetje
Çdo gjetje vjen me ndryshimin që duhet bërë. Kontrolli falas tregon pikëzimin tuaj dhe gjetjen e parë; raporti i plotë kushton $29, një herë të vetme.
Një sajt mund t'i bllokojë zvarritësit AI në dy vende: në robots.txt, që u kërkon zvarritësve të rrinë larg, dhe në server ose firewall, që i refuzon realisht. Në robots.txt kërkoni grupin për token-in e çdo zvarritësi dhe, nëse mungon, grupin User-agent: *. Pastaj merrni faqen si zvarritësi dhe krahasojeni me atë që merr shfletuesi. Një shtesë shfletuesi e bën pjesën e robots.txt për 16 zvarritës AI me një klikim.
Kontrolloni me dorë në 3 hapa
- Zgjidhni zvarritësin
Çdo kompani AI përdor zvarritës të ndryshëm. Trajnimi:
GPTBot,ClaudeBot. Kërkimi:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Me kërkesë të një personi:ChatGPT-User,Claude-User,Perplexity-User. - Lexoni robots.txt për të
Hapni
https://example.com/robots.txtdhe gjeni grupin që e emërton zvarritësin. Nëse nuk ka asnjë grup të tillë, vlen grupiUser-agent: *; nëse nuk ka as atë, çdo gjë lejohet. - Merrni faqen si zvarritësi
Kërkoni faqen me user agent-in e zvarritësit dhe krahasoni statusin e madhësinë me ato të një shfletuesi. Një 403, një faqe sfide ose një 200 shumë më e vogël do të thotë se firewall-i e refuzon.
Pyetje të shpeshta
A është një sajt pa robots.txt i hapur për zvarritësit AI?
Po, për sa i përket robots.txt. Një 404 për robots.txt do të thotë se nuk ka rregulla, kështu që çdo zvarritës mund të marrë çdo faqe. Një firewall megjithatë mund t'i bllokojë zvarritësit.
A i tregon shtesa bllokimet e firewall-it?
Jo. Ajo lexon robots.txt nga shfletuesi juaj, gjë që tregon se çfarë u kërkon sajti zvarritësve. Për bllokimet e firewall-it dhe të mbrojtjes nga botët duhet një kërkesë e dërguar si zvarritësi, gjë që e bën kontrolli i plotë në aiseewhy.com.
A mund të kontrolloj një sajt që nuk është imi?
Po. robots.txt është publik dhe shtesa lexon vetëm skedarët robots.txt dhe llms.txt që publikon sajti, të njëjtët skedarë që lexon çdo zvarritës.
Lexoni udhëzuesin e plotë
Qoftë kur kontrolloni sajtin tuaj pas një ndryshimi, qoftë kur shikoni sajtin e dikujt tjetër para se të mbështeteni tek ai, pyetja „a i bllokon ky sajt zvarritësit AI?“ ka një përgjigje të saktë. Ajo varet nga zvarritësi që keni parasysh, sepse kompanitë e AI përdorin zvarritës të veçantë për trajnimin, për kërkimin dhe për vizitat e drejtpërdrejta, dhe një sajt mund ta trajtojë secilin ndryshe. Ky udhëzues tregon tre kontrolle, nga më i shpejti te më i ploti.
Ku mund t'i bllokojë një sajt zvarritësit AI?
Ka tri shtresa dhe një zvarritës duhet t'i kalojë të gjitha që ta përdorë një faqe.
- robots.txt: një skedar publik rregullash që zvarritësit e sjellshëm e lexojnë para se të marrin çfarëdo. Është një kërkesë, jo një dry.
- Serveri, CDN-ja ose firewall-i: vendos se çfarë kthehet realisht. Një rregull i mbrojtjes nga botët mund t'i përgjigjet zvarritësit me 403, 429 ose me një faqe sfide edhe kur robots.txt e lejon.
- Vetë faqja: nëse teksti kryesor shfaqet vetëm pasi ekzekutohet JavaScript, zvarritësi që lexon HTML-në fillestare merr një faqe pothuajse bosh, megjithëse asgjë nuk e bllokoi.
Shumica e kontrolleve të shpejta shohin vetëm shtresën e parë. Ky është një fillim i mirë, për sa kohë mbani mend dy të tjerat.
Si ta lexoj robots.txt për një zvarritës AI?
Hapni https://example.com/robots.txt në një shfletues dhe gjeni grupin që vlen për zvarritësin. Një grup fillon me një ose më shumë rreshta User-agent. Zvarritësi përdor grupin që përmend token-in e tij, për shembull GPTBot; shkronjat e mëdha dhe të vogla nuk kanë rëndësi. Nëse asnjë grup nuk e përmend, ai përdor grupin User-agent: *. Nëse nuk ka asnjërin, gjithçka lejohet.
Brenda grupit fiton rregulli me shtegun më të gjatë që përputhet, dhe kur një Allow dhe një Disallow janë njësoj të gjata, fiton Allow. Prandaj skedari më poshtë e bllokon GPTBot në gjithë sajtin, por i lë të hyjnë të gjithë zvarritësit e tjerë:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Shikoni edhe si përgjigjet skedari. Sipas RFC 9309, një 404 do të thotë se nuk ka rregulla, kështu që gjithçka lejohet. Një gabim serveri (5xx) ose mungesa e përgjigjes do të thotë se zvarritësi duhet ta trajtojë gjithë sajtin si të ndaluar. Një gabim i shpeshtë është një adresë robots.txt që kthen një faqe HTML: zvarritësit nuk gjejnë në të asnjë rregull të vlefshëm.
Si t'i kontrolloj të gjithë zvarritësit AI njëherësh?
Leximi i skedarit me dorë bëhet i ngadaltë sapo ju intereson më shumë se një zvarritës. Çdo kompani AI përdor disa zvarritës me detyra të ndryshme:
- Zvarritësit e trajnimit mbledhin përmbajtje për trajnimin e modeleve:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, si dhe token-ëtGoogle-ExtendeddheApplebot-Extended, që shfaqen vetëm në robots.txt. - Zvarritësit e kërkimit indeksojnë faqe që përgjigjet e AI t'i citojnë:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Zvarritësit e përdoruesve marrin një faqe kur një person ia kërkon asistentit:
ChatGPT-User,Claude-User,Perplexity-User.
Shtesa falas Kontrolli i zvarritësve AI për Chrome e bën këtë me një klikim. Hapni çfarëdo faqeje, klikoni ikonën dhe ajo lexon robots.txt të atij sajti dhe tregon, për secilin nga 16 zvarritësit, nëse faqja lejohet dhe cili rresht e vendos këtë. Tregon gjithashtu preferencat Content-Signal, nëse sajti ka llms.txt dhe hartat e sajtit të listuara në robots.txt. Punon në shfletuesin tuaj, nuk kërkon llogari dhe lexon vetëm sajtin ku e klikoni.
Pa Chrome, kontrolluesi falas i robots.txt në aiseewhy.com jep të njëjtën përgjigje për një URL që ngjitni.
Si të kontrolloj nëse firewall-i i lë të kalojnë?
robots.txt tregon se çfarë kërkon sajti. Për të parë se çfarë merr realisht një zvarritës, kërkojeni faqen dy herë, një herë si shfletues dhe një herë me user agent-in e zvarritësit, dhe krahasoni kodin e statusit dhe madhësinë e përgjigjes:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Nëse shfletuesi merr 200 dhe zvarritësi merr 403, 429 ose 503, ose një faqe shumë më të vogël, firewall-i ose mbrojtja nga botët e trajton zvarritësin ndryshe. Çdo test nga jashtë ka një kufizim: vjen nga rrjeti juaj, jo nga rrjeti i kompanisë AI. Një firewall që u beson zvarritësve sipas adresave IP të publikuara mund ta trajtojë zvarritësin e vërtetë ndryshe, prandaj fjalën e fundit e kanë regjistrat e serverit tuaj.
Kontrolli i plotë në aiseewhy.com e merr faqen si të gjithë 16 zvarritësit krahas një shfletuesi të vërtetë, emërton firewall-in ose rregullin që bllokon një zvarritës dhe krahason tekstin që mori secili prej tyre.
Cilin rezultat duhet të synoni?
Varet nga ajo që doni. Nëse doni të citoheni në kërkimin e ChatGPT, në Claude dhe në Perplexity, zvarritësit e kërkimit dhe të përdoruesve duhet të lejohen në robots.txt dhe duhet të marrin faqen e vërtetë nga serveri. Nëse nuk doni që përmbajtja juaj të përdoret për trajnim, bllokoni vetëm token-ët e trajnimit. Këto janë zgjedhje të veçanta: bllokimi i GPTBot nuk bllokon OAI-SearchBot, dhe bllokimi i ClaudeBot nuk bllokon Claude-SearchBot.
Shumë sajte i ngatërrojnë. Në raportin tonë të nëntorit 2026 për 1 000 domenet më të njohura, 63% e sajteve që bllokojnë një zvarritës trajnimi bllokojnë edhe të paktën një zvarritës kërkimi AI ose zvarritës përdoruesi, gjë që i mban faqet e tyre jashtë këtyre përgjigjeve të AI.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolluesi dhe validuesi i llms.txt
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Burimet
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- Anthropic: A zvarrit Anthropic të dhëna nga uebi dhe si mund ta bllokojnë zvarritësin pronarët e sajteve?
- Perplexity: Zvarritësit e Perplexity
- Google: Zvarritësit e zakonshëm, përfshirë Google-Extended
- AISeeWhy: Raport mbi qasjen e zvarritësve AI, 2026-11