Zakaj moje spletno mesto nenadoma blokira pajke UI?
Mesto, ki začne blokirati pajke UI, se je skoraj vedno spremenilo na enem od petih mest: v robots.txt, ki se dejansko streže, v nastavitvi CDN, kot so Cloudflarovi pravilniki za pajke UI, v zaščiti pred boti ali omejitvi zahtev, v privzeti nastavitvi gostovanja ali v robots.txt, ki zdaj odgovarja z napako. Prenesite današnji robots.txt in stran kot vsak pajek, ju primerjajte z brskalnikom in s tem, kar ste imeli prej, in te plasti preverite v tem vrstnem redu.
Nihče se ne odloči, da bo izginil iz odgovorov UI. Zgodi se kot stranski učinek posodobitve teme, varnostne nastavitve, selitve ali spremenjene privzete nastavitve pri ponudniku. Brskalnik mesto še vedno vidi normalno, zato sprememba lahko ostane neopažena, dokler nekdo ChatGPT ali Perplexity ne vpraša o izdelku in dobi konkurenta. Vsaka plast pusti sledi, ki jih lahko preverite od zunaj ali v svojih dnevnikih.
Na tej strani
- Ali se je spremenil robots.txt, ki ga dobijo pajki?
- Ali so Cloudflarovi pravilniki za pajke UI iz leta 2026 spremenili, kaj moje mesto dovoli?
- Ali pajke lovi zaščita pred boti ali omejitev zahtev?
- Ali je moj ponudnik gostovanja spremenil privzete nastavitve?
- Ali robots.txt odgovarja z napako?
- Kako ugotovim, kdaj se je začelo?
- Kako to naslednjič opazim prej?
Ali se je spremenil robots.txt, ki ga dobijo pajki?
Prenesite https://yourdomain.com/robots.txt in ga primerjajte z datoteko v repozitoriju ali varnostni kopiji. Glejte streženo datoteko, ne tiste na disku, ker jo lahko na poti spremeni več plasti:
- Uvedba prinese robots.txt iz testnega okolja z
Disallow: /ali selitev pusti privzeto datoteko platforme. - Nastavitev graditelja spletnih mest doda pravila za pajke UI. Squarespace ima na primer možnost Block known artificial intelligence crawlers, ki v robots.txt zapiše 26 imen botov in navaja, da jih lahko sčasoma doda še več. Privzeto je izklopljena, zato jo mora nekdo vklopiti, seznam pa lahko pozneje zraste.
- Posodobitev vtičnika za SEO ali varnost zapiše nova pravila ali doda novo možnost, ki jo nekdo vklopi.
- Cloudflare pred vašo datoteko doda svoj upravljani robots.txt, ko je vklopljen Bot Preference Sync in je pravilnik UI nastavljen na Block ali Disallow. Strežena datoteka se nato začne z
Disallow: /zaClaudeBot,GPTBotin šest drugih žetonov za učenje, čeprav se vaša datoteka ni spremenila. - Pravilo, namenjeno pajku za učenje, je bilo kopirano tudi na druge, vključno z iskalnimi pajki, kot so
OAI-SearchBot,Claude-SearchBotaliPerplexityBot.
Poročilo robots.txt v Google Search Console pokaže različice, ki jih je Google prenesel v zadnjih 30 dneh, z novim vnosom ob vsaki spremembi datoteke ali rezultata prenosa. Zajema le to, kar je videl Google, a če vaš strežnik robots.txt ne spreminja glede na uporabniškega agenta, so pajki UI dobili isto datoteko.
Ali so Cloudflarovi pravilniki za pajke UI iz leta 2026 spremenili, kaj moje mesto dovoli?
Cloudflare je nadzor pajkov UI spremenil večkrat, nekatere spremembe pa spremenijo delovanje cone, ne da bi jo kdo urejal. 1. julija 2025 je nove domene ob prijavi začel spraševati, ali naj dovoli pajke UI, z blokiranjem kot začetnim stanjem. 1. julija 2026 je edino stikalo Block AI bots zamenjal z ločenimi pravilniki Search, Agent in Training za vse pakete, vključno s Free.
Podrobnost, ki ujame največ mest, so pajki z več nameni. Cloudflarova dokumentacija navaja, da dejanja za Training veljajo tudi za pajke, ki se uporabljajo za iskanje in učenje. Njegovo obvestilo iz julija 2026 je navajalo, da bodo od 15. septembra 2026 večnamenski pajki, kot so Googlebot, Applebot in BingBot, blokirani za stranke, ki so se odločile blokirati Training, bodisi prek novih možnosti bodisi prek stare nastavitve Block AI bots. Zavrnitev učenja, nastavljena pred letom dni, lahko zdaj torej doseže tudi iskalne pajke.
Privzete nastavitve za nove domene so bile skozi čas opisane različno. Isto obvestilo je navajalo, da bodo imele nove domene od 15. septembra 2026 blokirana Training in Agent na straneh z oglasi, dokumentacija pravilnikov, posodobljena 2. novembra 2026, pa navaja, da nove domene začnejo z vsemi tremi na Allow. Odprite Security, nato Settings, filtrirajte po Bot traffic in za svojo cono preberite AI Crawler and Agent access policies. Vsako nastavitev pojasni naš vodnik za Cloudflare AI Crawl Control.
Ali pajke lovi zaščita pred boti ali omejitev zahtev?
Zaščita pred boti presoja vsako zahtevo, pajki pa hitro prenašajo veliko strani iz podatkovnih centrov, kar je ravno to, kar boti počnejo. Pajek, ki je prejšnji mesec prišel skozi, lahko začne dobivati strani z izzivom, ko njegov upravljavec spremeni obsege IP ali hitrost pregledovanja ali ko se posodobijo pravila zaščite. Pogost vzrok je Cloudflarov Bot Fight Mode, Cloudflare pa navaja, da ga ni mogoče zaobiti ali preskočiti s pravili WAF po meri ali s Page Rules, zato pozneje dodano pravilo za dovolitev ne pomaga, dokler je vklopljen. Nova omejitev zahtev, ki na sunke odgovori z 429, ima na zaposlenega pajka enak učinek.
Preizkusite od zunaj: stran zahtevajte kot brskalnik in kot dva iskalna pajka UI, nato pa robots.txt zahtevajte kot pajek.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 ali 503 samo za pajka, stran z naslovom Just a moment... ali telo, ki je precej manjše kot za brskalnik, pomeni, da s pajkom ravnajo drugače. Test prihaja z vašega IP, ne s ponudnikovega, zato lahko pravila na podlagi statusa preverjenega bota s pravim pajkom še vedno ravnajo drugače. Katero pravilo je odgovorilo, pokaže dnevnik dogodkov požarnega zidu.
Ali je moj ponudnik gostovanja spremenil privzete nastavitve?
Nekateri ponudniki gostovanja promet UI filtrirajo na strežniku, preden se zaženejo vaša pravila. SiteGround je na primer avgusta 2025 zapisal, da privzeto blokira pajke UI, namenjene zbiranju podatkov za učenje, in dovoli pajke, ki pridejo, ko oseba asistenta UI vpraša o strani. Takšna pravila se v vašem robots.txt ne pokažejo in se lahko spremenijo, ko ponudnik posodobi svoje sezname botov.
Če se blokada pojavi hkrati na več mestih pri istem ponudniku ali v odgovorih, ki nikoli ne dosežejo dnevnikov vaše aplikacije, ponudnika vprašajte, katera pravila za bote veljajo za vaš račun in ali lahko izvzamete pajke, ki jih želite obdržati.
Ali robots.txt odgovarja z napako?
robots.txt, ki ne deluje, lahko blokira več kot katera koli vrstica Disallow. Po RFC 9309 odgovor 4xx pomeni, da pajek sme prenesti vse, napaka strežnika (5xx) ali odsotnost odgovora pa pomeni, da mora domnevati, da je prepovedano celotno mesto. Google ob takih napakah prvih 12 ur preneha pregledovati, nato pa do 30 dni uporablja zadnjo dobro kopijo.
Tako lahko porast obremenitve, pravilo požarnega zidu, ki za /robots.txt zahteva izziv, ali omejitev zahtev, ki ga zajame, izloči dobro vzgojene pajke, ne da bi se spremenilo eno samo pravilo. Zadnji ukaz v zgornjem testu bi moral vrniti 200 in text/plain. 5xx, časovna omejitev ali stran z izzivom tam je prvo, kar je treba popraviti.
Kako ugotovim, kdaj se je začelo?
Datum skrivnost spremeni v primerjavo. V dnevnikih dostopa filtrirajte zahteve uporabniških agentov pajkov UI in poiščite dan, ko so se njihove statusne kode spremenile z 200 na 403, 429 ali 503, ali dan, ko so po branju robots.txt nehali zahtevati strani; ukaze najdete v našem vodniku za iskanje pajkov UI v dnevnikih strežnika. Zahteve, ki jih je blokiral vaš CDN, izvornega strežnika nikoli ne dosežejo, zato preverite tudi CDN. V Cloudflaru AI Crawl Control pokaže porazdelitev statusnih kod skozi čas, ki jo lahko filtrirate po pajku.
Nato ta datum primerjajte z uvedbami, posodobitvami vtičnikov in tem, spremembami nastavitev CDN in obvestili ponudnikov. Pred ukrepanjem preverite, da izvorni IP-ji pripadajo ponudniku, da gledate pravega pajka in ne vsiljivca, ki uporablja njegovo ime.
Kako to naslednjič opazim prej?
Dostop preverite po vsaki uvedbi, spremembi CDN in posodobitvi vtičnika, ne le ob padcu prometa. Brezplačna analiza AISeeWhy stran zahteva kot 16 pajkov UI in iskalnikov ob pravem brskalniku, za vsakega pajka uporabi vaš robots.txt in prepozna strani z izzivom požarnega zidu. Brezplačni tester robots.txt za vsakega pajka pokaže, ali se stran sme prenesti po datoteki, ki velja danes.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Zakaj ChatGPT ne prikazuje več mojega mesta?
Pogosto zato, ker je OAI-SearchBot, pajek, ki poganja iskanje v ChatGPT, postal blokiran zaradi spremembe robots.txt, pravilnika CDN ali zaščite pred boti. OpenAI navaja, da se mesta, ki ga blokirajo, ne bodo prikazala v odgovorih iskanja ChatGPT. Za tega pajka preverite vsako plast in po popravku robots.txt počakajte približno 24 ur, kolikor po OpenAI-jevih navedbah njegovi sistemi potrebujejo za prilagoditev.
Ali je Cloudflare na mojem mestu začel blokirati Googlebot?
To se lahko zgodi. Cloudflare je navedel, da od 15. septembra 2026 stranke, ki blokirajo Training, blokirajo tudi večnamenske pajke, kot so Googlebot, Applebot in BingBot. Njegova dokumentacija navaja, da možnost Training Disallow blokira pajke za učenje na robu omrežja, pajke z mešano rabo pa izpusti, zato preverite, katero možnost uporablja vaša cona.
Ali lahko graditelj spletnih mest ali vtičnik namesto mene spremeni robots.txt?
Da. Graditelji spletnih mest ter vtičniki za SEO ali varnost lahko v robots.txt zapišejo pravila za pajke UI, nekateri pa svoje sezname botov sčasoma razširijo. Po vsaki posodobitvi prenesite živo datoteko in preberite skupine, ki veljajo za iskalne pajke, ki so vam pomembni.
Zakaj je moj živi robots.txt drugačen od datoteke na strežniku?
Spreminja ga nekaj pred vašim strežnikom. Cloudflarov upravljani robots.txt na primer v istem odgovoru pred vašo datoteko doda svoja pravila in content signals. Zamenja ali razširi ga lahko tudi CMS, ki robots.txt ustvari na zahtevo, ali nastavitev na ravni gostovanja.
Koliko časa traja, da se pajki UI po popravku vrnejo?
RFC 9309 pravi, da pajki predpomnjenega robots.txt ne bi smeli uporabljati dlje kot 24 ur, OpenAI navaja približno 24 ur, Perplexity pa do 24 ur. Spremembe požarnega zidu veljajo takoj, ko jih ponudnik uvede, pajki pa se vrnejo po svojem urniku.
Viri
- RFC 9309: Robots Exclusion Protocol
- Google: kako Google razlaga specifikacijo robots.txt
- Google Search Console Help: robots.txt report
- Sporočilo za javnost Cloudflare: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare: pravilniki dostopa za pajke in agente UI
- Cloudflare: upravljani robots.txt in Content Signals
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic
- Pomoč za Squarespace: Request that AI models exclude your site
- Blog SiteGround: The pros and cons of AI bot crawling
- OpenAI: pregled pajkov OpenAI
- Perplexity: pajki Perplexity