Cum verifici dacă un site blochează crawlerele AI
Introdu orice adresă și vezi dacă blochează GPTBot, ClaudeBot, PerplexityBot și celelalte crawlere AI: în robots.txt, în firewall sau în ambele.
Gratuit · Fără cont · Rezultat în 30 de secunde
Ce crawlere sunt blocate
Crawlerele de antrenare, de căutare și cele din cereri ale utilizatorilor sunt afișate separat, pentru că blocarea GPTBot nu blochează OAI-SearchBot, iar blocarea ClaudeBot nu blochează Claude-SearchBot.
Linia care decide
Pentru fiecare crawler, robots.txt este citit după regulile RFC 9309: grupul care îl numește sau, în lipsa lui, User-agent: *, și regula care câștigă.
Refuzuri din firewall
Pagina este cerută ca 14 crawlere și ca un browser obișnuit. Blocările și paginile de verificare sunt semnalate, iar firewall-ul care a răspuns este numit.
O soluție pentru fiecare problemă
Fiecare problemă vine cu modificarea de făcut. Verificarea gratuită îți arată scorul și prima problemă; raportul complet costă $29, o singură dată.
Un site poate bloca crawlerele AI în două locuri: în robots.txt, care le cere să nu intre, și pe server sau în firewall, care le refuză efectiv. Caută în robots.txt tokenul fiecărui crawler, iar dacă lipsește, User-agent: *, apoi descarcă pagina ca acel crawler și compar-o cu ce primește un browser. O extensie de browser face partea de robots.txt pentru 16 crawlere AI dintr-un clic.
Verifică manual în 3 pași
- Alege crawlerul
Fiecare companie de AI folosește crawlere separate. Antrenare:
GPTBot,ClaudeBot. Căutare:OAI-SearchBot,Claude-SearchBot,PerplexityBot. La cererea unei persoane:ChatGPT-User,Claude-User,Perplexity-User. - Citește robots.txt pentru el
Deschide
https://example.com/robots.txtși găsește grupul care numește crawlerul. Dacă niciun grup nu îl numește, se aplică grupulUser-agent: *; dacă nu există nici acesta, totul este permis. - Descarcă pagina ca acel crawler
Cere pagina cu user agent-ul crawlerului și compară statusul și dimensiunea cu cele primite de un browser. Un 403, o pagină de verificare sau un 200 mult mai mic înseamnă că firewall-ul îl refuză.
Întrebări frecvente
Este un site fără robots.txt deschis crawlerelor AI?
Da, în ce privește robots.txt. Un 404 pentru robots.txt înseamnă că nu există reguli, deci orice crawler poate descărca orice pagină. Un firewall poate totuși bloca crawlerele.
Extensia arată blocările din firewall?
Nu. Citește robots.txt din browserul tău, iar asta arată ce le cere site-ul crawlerelor. Blocările din firewall și din protecția împotriva boților se văd doar cu o cerere trimisă ca acel crawler, iar asta face verificarea completă de pe aiseewhy.com.
Pot verifica un site care nu este al meu?
Da. robots.txt este public, iar extensia citește doar fișierele robots.txt și llms.txt pe care le publică site-ul, aceleași fișiere pe care le citește orice crawler.
Citește ghidul complet
Fie că îți verifici propriul site după o schimbare, fie că te uiți la site-ul altcuiva înainte să te bazezi pe el, întrebarea „blochează acest site crawlerele AI?” are un răspuns precis. Depinde de crawlerul la care te referi, pentru că firmele de AI folosesc crawlere separate pentru antrenare, pentru căutare și pentru vizite în timp real, iar un site le poate trata diferit pe fiecare. Acest ghid arată trei verificări, de la cea mai rapidă la cea mai completă.
Unde poate un site să blocheze crawlerele AI?
Există trei niveluri, iar un crawler trebuie să treacă de toate ca să poată folosi o pagină.
- robots.txt: un fișier public de reguli pe care crawlerele corecte îl citesc înainte să descarce ceva. Este o cerere, nu un lacăt.
- Serverul, CDN-ul sau firewall-ul: aici se decide ce se trimite efectiv înapoi. O regulă de protecție împotriva boților poate răspunde unui crawler cu 403, 429 sau o pagină de verificare chiar dacă robots.txt îl permite.
- Pagina însăși: dacă textul principal apare doar după rularea JavaScript, un crawler care citește HTML-ul inițial primește o pagină aproape goală, deși nimic nu l-a blocat.
Cele mai multe verificări rapide se uită doar la primul nivel. E un început bun, cât timp îți amintești de celelalte două.
Cum citesc robots.txt pentru un crawler AI?
Deschide https://example.com/robots.txt într-un browser și găsește grupul care se aplică acelui crawler. Un grup începe cu una sau mai multe linii User-agent. Crawlerul folosește grupul care îi numește tokenul, de exemplu GPTBot; potrivirea nu ține cont de majuscule. Dacă niciun grup nu îl numește, folosește grupul User-agent: *. Dacă nu există niciunul dintre ele, totul este permis.
În interiorul grupului câștigă regula cu cea mai lungă cale potrivită, iar când un Allow și un Disallow au aceeași lungime, câștigă Allow. Așadar fișierul de mai jos blochează GPTBot pe tot site-ul, dar lasă să intre orice alt crawler:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Uită-te și la cum răspunde fișierul. Conform RFC 9309, un 404 înseamnă că nu există reguli, deci totul este permis. O eroare de server (5xx) sau lipsa oricărui răspuns înseamnă că un crawler trebuie să trateze întregul site ca interzis. O adresă robots.txt care returnează o pagină HTML este o greșeală frecventă: crawlerele nu găsesc în ea reguli valide.
Cum verific toate crawlerele AI deodată?
Citirea manuală a fișierului devine lentă de îndată ce te interesează mai mult de un crawler. Fiecare firmă de AI folosește mai multe, cu roluri diferite:
- Crawlerele de antrenare colectează conținut pentru antrenarea modelelor:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, plus tokenurileGoogle-ExtendedșiApplebot-Extended, care apar doar în robots.txt. - Crawlerele de căutare indexează pagini ca răspunsurile AI să le poată cita:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Crawlerele de utilizator descarcă o pagină atunci când o persoană îi cere asistentului:
ChatGPT-User,Claude-User,Perplexity-User.
Extensia gratuită Verificare crawlere AI pentru Chrome face asta dintr-un clic. Deschide orice pagină și apasă pe pictogramă: extensia citește robots.txt al acelui site și arată, pentru fiecare dintre cele 16 crawlere, dacă pagina este permisă și ce linie decide asta. Arată și preferințele Content-Signal, dacă site-ul are un llms.txt și sitemap-urile listate în robots.txt. Rulează în browserul tău, nu cere cont și citește doar site-ul pe care o folosești.
Fără Chrome, verificatorul gratuit de robots.txt de pe aiseewhy.com dă același răspuns pentru un URL pe care îl lipești.
Cum verific dacă firewall-ul le lasă să treacă?
robots.txt arată ce cere site-ul. Ca să vezi ce primește efectiv un crawler, cere pagina de două ori, o dată ca browser și o dată cu user agent-ul crawlerului, și compară codul de status și dimensiunea răspunsului:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Dacă browserul primește 200, iar crawlerul primește 403, 429 sau 503 ori o pagină mult mai mică, un firewall sau o protecție împotriva boților tratează crawlerul diferit. O limită se aplică oricărui test din exterior: pornește din rețeaua ta, nu din cea a firmei de AI. Un firewall care are încredere în crawlere după adresele IP publicate poate trata altfel crawlerul real, așa că ultimul cuvânt îl au logurile serverului tău.
Verificarea completă de pe aiseewhy.com descarcă pagina ca fiecare dintre cele 16 crawlere, alături de un browser real, numește firewall-ul sau regula care blochează un crawler și compară textul primit de fiecare.
Ce rezultat ar trebui să urmăresc?
Depinde de ce vrei. Dacă vrei să fii citat în căutarea ChatGPT, în Claude și în Perplexity, crawlerele de căutare și cele de utilizator trebuie să fie permise în robots.txt și să primească de la server pagina reală. Dacă nu vrei să-ți fie folosit conținutul pentru antrenare, blochează doar tokenurile de antrenare. Sunt alegeri separate: blocarea GPTBot nu blochează OAI-SearchBot, iar blocarea ClaudeBot nu blochează Claude-SearchBot.
Multe site-uri le confundă. În raportul nostru din noiembrie 2026 despre cele mai populare 1.000 de domenii, 63% dintre site-urile care blochează un crawler de antrenare blochează și cel puțin un crawler AI de căutare sau de utilizator, ceea ce le scoate paginile din acele răspunsuri AI.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificator și validator llms.txt
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Surse
- RFC 9309: Robots Exclusion Protocol
- OpenAI: prezentare generală a crawlerelor OpenAI
- Anthropic: Anthropic colectează date de pe web și cum pot proprietarii de site-uri să blocheze crawlerul?
- Perplexity: crawlerele Perplexity
- Google: crawlere comune, inclusiv Google-Extended
- AISeeWhy: raport privind accesul crawlerelor AI, 2026-11