Kas Cloudflare blokeerib AI-roboteid? Kuidas seda tuvastada ja parandada
Vaata umbes 30 sekundiga, kas Cloudflare või mõni muu tulemüür vastab AI-robotitele blokeeringuga, ja saa reegel, mis õiged robotid läbi laseb.
Tasuta · Registreerumata · Tulemus 30 sekundiga
403, 429 ja kontrolllehed
Robotid võivad saada blokeeringu või lehe Just a moment..., samal ajal kui sinu brauser saab päris lehe. Lehte küsitakse mõlemal viisil ja erinevus märgitakse.
robots.txt versus tulemüür
Kui robots.txt roboti lubab, aga server keeldub, näitab raport konflikti, nii et tead, millist seadet muuta.
Nimetatud tulemüür
Vastanud CDN või tulemüür nimetatakse, Cloudflare kaasa arvatud, nii et sa ei pea ise arvama, kust otsida.
Rakendatav reegel
Iga leiuga kaasneb lahendus, näiteks Cloudflare'i reegel või lubalisti samm. Tasuta kontroll näitab sinu skoori ja esimest leidu; täisraport maksab $29, ühekordselt.
Cloudflare ja teised tulemüürid võivad vastata AI-robotitele veaga 403, 429 või kontrollilehega "Just a moment...", samal ajal kui brauserid saavad päris lehe, isegi kui robots.txt robotit lubab. Kontrolli seda, küsides lehte roboti user agent'iga, ja luba seejärel AI-otsingurobotid jaotises AI Crawl Control või WAF-i Skip-reegliga.
Leia ja paranda 3 sammuga
- Küsi lehte kaks korda
Üks kord brauseri user agent'iga, teine kord roboti omaga. 403, 429 või 503 ainult robotile, leht
Just a moment...või palju lühem 200 tähendab tulemüüri blokeeringut. - Luba otsingurobotid
Ava Cloudflare'is AI Crawl Control, mine robotite loendisse ja määra veerus Action soovitud robotitele Allow, näiteks
OAI-SearchBot-ile. - Jäta vajadusel muud kaitsed vahele
Kui neid ikka blokeerib WAF-i kohandatud reegel, Super Bot Fight Mode või päringupiirang, lisa esimesena paiknev reegel, mis jätab need funktsioonid kontrollitud robotite puhul vahele. Eelista kontrollitud roboti välja või teenusepakkuja avaldatud IP-vahemikke user agent'i vastavusele.
Korduma kippuvad küsimused
Kus Cloudflare'is näha, millised AI-robotid on blokeeritud?
Ava Cloudflare'i juhtpaneelil AI Crawl Control. Selle robotite loend näitab iga AI-robotit, mida Cloudflare sinu domeenil on näinud, mitu päringut see tegi ja kas selle toiming on Allow või Block, ning toimingut saad seal muuta. Teised funktsioonid, näiteks Bot Fight Mode, võivad lubatud robotit ikkagi blokeerida, nii et kontrolli tulemust päringuga, mis kasutab roboti user agent'it.
Kas Cloudflare blokeerib AI-roboteid vaikimisi?
See sõltub sinu kontost, paketist ja tsooni seadetest ning Cloudflare on neid valikuid aja jooksul muutnud. Vaata üle AI Crawl Control ja oma robotiseaded ning testi roboti user agent'iga, selle asemel et midagi eeldada.
Miks mu sait töötab brauseris, aga mitte robotitele?
Tulemüürid hindavad iga päringut. Brauser läbib JavaScripti kontrollid ja hoiab küpsiseid; robot mitte, seega võib see saada kontrollilehe või 403, mida sa ise kunagi ei näe.
Kas AI-robotite WAF-ist läbi laskmine on turvaline?
Nimega roboti lubamine on väikese riskiga, kui kinnitad selle pakkuja IP-vahemike või Cloudflare'i kinnitatud roboti signaali järgi. Reeglid, mis usaldavad ainult user agent'it, lasevad sisse ka igaühe, kes selle kopeerib.
Kas Cloudflare'i e-posti varjamise funktsioon mõjutab AI-roboteid?
See asendab e-posti aadressid lingiga, mida dekodeerib ainult skript, seega näevad robotid aadressi asemel kohatäidet. Kui soovid, et sinu kontaktaadress oleks loetav, lülita jaotises Scrape Shield välja Email Address Obfuscation ja näita aadressi lihttekstina.
Loe kogu juhendit
Robotikaitse on olemas kraapijate ja kuritarvituste peatamiseks ning teeb seda hästi. Häda on selles, et ka AI-otsingurobotid on robotid. Aastaid tagasi sisse lülitatud turvaseade, päringute piirang või lai reegel tundmatute user agent'ite vastu võib vaikselt eemal hoida robotid, mis sulle viitavad, samal ajal kui sinu enda külastused paistavad täiesti tavalised.
Miks peaks tulemüür AI-roboteid blokeerima?
Tulemüürid hindavad iga päringut. Robot ei läbi JavaScripti kontrolle, ei hoia küpsiseid nagu brauser ja küsib sageli palju lehti järjest, seega võib see välja näha täpselt nagu liiklus, mille peatamiseks robotikaitse on loodud. Levinud põhjused on:
- Robotikaitse funktsioonid, mis kontrollivad tuntud robotimustritele vastavat liiklust. Näiteks Cloudflare'i Bot Fight Mode esitab robotitele arvutuslikult kulukaid kontrolle.
- WAF-i kohandatud reeglid, mis blokeerivad või kontrollivad user agent'eid, milles on sõnad nagu "bot" või "crawler", või mis lubavad ainult lühikest otsingumootorite loendit.
- Seaded, mis blokeerivad AI-robotid kategooriana. Cloudflare võimaldab määrata poliitikad robotitele Search, Agent ja Training ning seal valitud Block kehtib neile kõigile.
- Päringute piiramine, mis vastab roboti kiirele päringute jadale olekukoodiga 429.
- Riigi- või ASN-blokeeringud, mis juhtumisi hõlmavad võrke, millest robotid töötavad.
Kuidas eristada tulemüüri blokeeringut robots.txt blokeeringust?
robots.txt blokeering on viisakas palve: robot loeb sinu reegleid ega laadi lehte. Tulemüüri blokeering on vastus: robot küsib lehte ja saab midagi muud. Teist liiki näed otse. Küsi lehte kaks korda, üks kord brauseri user agent'iga ja üks kord roboti omaga, ning võrdle.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Tulemüüri blokeeringu tunnused: olekukood 403, 429 või 503 ainult robotile; leht pealkirjaga Just a moment... või Attention Required! | Cloudflare; sisu, milles on /cdn-cgi/challenge-platform; või 200-vastus, mis on brauseri omast palju lühem. Pea meeles, et sinu test tuleb sinu enda IP-lt, mitte roboti kinnitatud IP-vahemikust, seega näitab see, kuidas tulemüür user agent'isse suhtub, mitte iga detaili sellest, kuidas see päris robotit kohtleb.
Kuidas lubada AI-otsingurobotid Cloudflare'is?
Cloudflare'i AI Crawl Control, mis on saadaval kõigis pakettides, loetleb sinu domeeni külastavad AI-robotid ja võimaldab igaühele toimingu määrata. Ava juhtpaneelil AI Crawl Control, mine loendisse Crawlers ja vali iga roboti jaoks veerus Action kas Allow või Block. Cloudflare ütleb, et seal blokeerimine loob või uuendab sinu tsoonis WAF-i kohandatud reegli.
Kui robotit blokeerib WAF-i kohandatud reegel, Super Bot Fight Mode või päringute piiramine, lisa kohandatud reegel, mis jätab need funktsioonid kinnitatud robotite ja roboti tunnuse puhul vahele:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Paiguta reegel esimeseks. Pane tähele, et user agent'i järgi sobitamine laseb läbi ka igaühe, kes seda user agent'it võltsib. Võimaluse korral eelista kinnitatud roboti välja (cf.client.bot) või pakkuja avaldatud IP-vahemikke.
Aga Bot Fight Mode?
Cloudflare'i dokumentatsioon ütleb selgelt, et Bot Fight Mode'ist ei saa WAF-i kohandatud reeglite ega Page Rules'iga mööda minna ega seda vahele jätta. Kui roboteid kontrollib just see funktsioon, ei aita Skip-reegel. Valikud on lülitada Bot Fight Mode välja või kasutada paketis, kus see on olemas, Super Bot Fight Mode'i, mis töötab Ruleset Engine'i peal ja toetab Skip-reegleid.
Milliseid roboteid peaksin läbi laskma?
Jaga robotid selle järgi, mida nad teevad. Otsingu- ja kasutajapäringu robotid otsustavad, kas AI-vastused saavad sind leida ja sulle viidata. Treeningrobotid koguvad andmeid mudelite jaoks ja nende blokeerimine on õigustatud valik, mis ei eemalda sind AI-otsingust.
- Otsing:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - Kasutajapäringud:
ChatGPT-User,Claude-User,Perplexity-User. - Treening:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Cloudflare'i enda poliitikaseaded kasutavad sama jaotust Search, Agent ja Training, seega saad lubada kaks esimest ja otsustada kolmanda üle eraldi. Kui kasutad muud tulemüüri või CDN-i, on põhimõte sama: lisa roboti tunnus lubatud loendisse, kinnitatuna pakkuja avaldatud IP-vahemike või võimalusel pöörd-DNS-i järgi, et see saaks sama vastuse kui brauser.
Kuidas AISeeWhy tulemüüri blokeeringuid tuvastab?
AISeeWhy küsib sinu lehte 14 robotina ja tavalise brauserina, võrdleb olekukoodi, suurust ja ümbersuunamisi, tunneb ära kontrollilehed ja nimetab vastanud tulemüüri või CDN-i. Kui robots.txt robotit lubab, aga server blokeerib selle, näitab raport vastuolu ja annab parandamiseks Cloudflare'i reegli või lubatud loendi sammu.
Selle probleemi parandused
- Meie testpäring blokeeriti, tulemus pole lõplik
- OAI-SearchBot on blokeeritud
- GPTBot suunatakse mujale
- GPTBot saab asenduslehe
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Allikad
- Cloudflare: AI Crawl Control
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI crawler and agent access policies
- OpenAI: Overview of OpenAI crawlers