Miks minu sait äkki AI-roboteid blokeerib?
Sait, mis hakkab AI-roboteid blokeerima, on peaaegu alati muutunud ühes viiest kohast: tegelikult serveeritav robots.txt, CDN-i seade nagu Cloudflare'i AI-robotite poliitikad, robotikaitse või päringute piirang, hostingu vaikeseade või robots.txt, mis vastab nüüd veaga. Laadi tänane robots.txt ja üks leht iga robotina, võrdle neid brauseriga ja sellega, mis sul varem oli, ning kontrolli neid kihte selles järjekorras.
Keegi ei otsusta AI-vastustest kaduda. See juhtub teemauuenduse, turvaseade, kolimise või teenusepakkuja muudetud vaikeseade kõrvalmõjuna. Brauser näeb saiti endiselt tavapäraselt, nii et muutus võib märkamata jääda seni, kuni keegi küsib ChatGPT-lt või Perplexitylt toote kohta ja saab vastuseks konkurendi. Iga kiht jätab jälgi, mida saad kontrollida väljastpoolt või oma logidest.
Sellel lehel
- Kas robotitele saadetav robots.txt on muutunud?
- Kas Cloudflare'i 2026. aasta AI-robotite poliitikad muutsid seda, mida mu sait lubab?
- Kas robotikaitse või päringute piirang püüab roboteid kinni?
- Kas mu hostingupakkuja muutis oma vaikeseadeid?
- Kas robots.txt vastab veaga?
- Kuidas teada saada, millal see algas?
- Kuidas seda järgmisel korral varem märgata?
Kas robotitele saadetav robots.txt on muutunud?
Laadi https://yourdomain.com/robots.txt ja võrdle seda failiga oma repositooriumis või varukoopias. Vaata serveeritavat faili, mitte kettal olevat, sest mitu kihti võivad seda teel muuta:
- Juurutus avaldab testkeskkonna robots.txt-i, milles on rida
Disallow: /, või kolimine jätab alles platvormi vaikefaili. - Saidiehitaja seade lisab AI-robotite reeglid. Näiteks Squarespace'il on valik Block known artificial intelligence crawlers, mis kirjutab robots.txt-sse 26 roboti nime ja ütleb, et aja jooksul võidakse lisada veel. Vaikimisi on see välja lülitatud, nii et keegi peab selle sisse lülitama, kuid loend võib hiljem kasvada.
- SEO- või turvapistikprogrammi uuendus kirjutab uued reeglid või lisab uue valiku, mille keegi sisse lülitab.
- Cloudflare lisab oma hallatud robots.txt sinu faili algusesse, kui Bot Preference Sync on sees ja mõni AI-poliitika on seatud väärtusele Block või Disallow. Serveeritav fail algab siis reaga
Disallow: /ClaudeBot-i,GPTBot-i ja kuue muu treeningtunnuse jaoks, kuigi sinu enda fail ei muutunud. - Treeningrobotile mõeldud reegel kopeeriti ka teistele, sealhulgas otsingurobotitele nagu
OAI-SearchBot,Claude-SearchBotvõiPerplexityBot.
Google Search Console'i robots.txt aruanne näitab versioone, mille Google viimase 30 päeva jooksul laadis, uue kirjega iga kord, kui fail või laadimise tulemus muutus. See hõlmab ainult seda, mida Google nägi, kuid kui sinu server ei serveeri robots.txt-d user agent'i järgi erinevalt, said AI-robotid sama faili.
Kas Cloudflare'i 2026. aasta AI-robotite poliitikad muutsid seda, mida mu sait lubab?
Cloudflare on oma AI-robotite juhtimisvahendeid mitu korda muutnud ja mõni muudatus mõjutab tsooni käitumist, ilma et keegi seda muudaks. 1. juulil 2025 hakkas ta uutelt domeenidelt registreerimisel küsima, kas lubada AI-roboteid, algseisuks blokeerimine. 1. juulil 2026 asendas ta ühe lüliti Block AI bots eraldi poliitikatega Search, Agent ja Training kõigi pakettide jaoks, sealhulgas Free.
Enamikku saite tabab mitmeotstarbeliste robotite detail. Cloudflare'i dokumentatsioon ütleb, et Training-toimingud kehtivad ka robotitele, mida kasutatakse nii otsinguks kui ka treenimiseks. Tema 2026. aasta juuli teadaanne ütles, et alates 15. septembrist 2026 blokeeritakse mitmeotstarbelised robotid nagu Googlebot, Applebot ja BingBot klientidel, kes valisid Trainingu blokeerimise, olgu uute valikute või vana seade Block AI bots kaudu. Aasta tagasi seatud treeningust loobumine võib seega nüüd ulatuda ka otsingurobotiteni.
Uute domeenide vaikeseadeid on aja jooksul kirjeldatud erinevalt. Sama teadaanne ütles, et alates 15. septembrist 2026 on uutel domeenidel reklaami näitavatel lehtedel Training ja Agent blokeeritud, samas kui 2. novembril 2026 uuendatud poliitika dokumentatsioon ütleb, et uued domeenid alustavad kõigi kolmega väärtusel Allow. Ava Security, siis Settings, filtreeri Bot traffic järgi ja loe oma tsooni AI Crawler and Agent access policies. Meie Cloudflare AI Crawl Controli juhend selgitab iga seadet.
Kas robotikaitse või päringute piirang püüab roboteid kinni?
Robotikaitse hindab iga päringut ja robotid laadivad andmekeskustest kiiresti palju lehti, mida robotid just teevadki. Robot, kes eelmisel kuul läbi pääses, võib hakata saama kontrollilehti pärast seda, kui tema haldaja muudab IP-vahemikke või roomamiskiirust, või pärast kaitsereeglite uuendamist. Cloudflare'i Bot Fight Mode on sage põhjus ja Cloudflare ütleb, et sellest ei saa WAF-i kohandatud reeglite ega Page Rules'iga mööda minna ega seda vahele jätta, nii et hiljem lisatud lubamisreegel ei aita, kuni see on sees. Uus päringute piirang, mis vastab pursetele koodiga 429, mõjub hõivatud robotile samamoodi.
Testi väljastpoolt: küsi lehte brauserina ja kahe AI-otsingurobotina ning seejärel robots.txt-d robotina.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 või 503 ainult robotile, leht pealkirjaga Just a moment... või sisu, mis on brauseri omast palju väiksem, tähendab, et robotit koheldakse teisiti. Test tuleb sinu IP-lt, mitte pakkuja omalt, nii et kontrollitud roboti staatusel põhinevad reeglid võivad päris robotit ikkagi teisiti kohelda. Tulemüüri sündmuste logi näitab, milline reegel vastas.
Kas mu hostingupakkuja muutis oma vaikeseadeid?
Mõned hostid filtreerivad AI-liiklust serveris, enne kui sinu enda reeglid käivituvad. Näiteks SiteGround kirjutas 2025. aasta augustis, et blokeerib vaikimisi treeningandmete kogumiseks loodud AI-robotid ja lubab robotid, mis tulevad siis, kui inimene küsib AI-assistendilt mõne lehe kohta. Sellised reeglid ei ilmu sinu robots.txt-s ja võivad muutuda, kui host oma robotite loendeid uuendab.
Kui blokeering ilmub korraga mitmel sama hosti saidil või vastustes, mis sinu rakenduse logidesse kunagi ei jõua, küsi hostilt, millised robotireeglid sinu kontole kehtivad ja kas saad välja arvata robotid, keda soovid alles hoida.
Kas robots.txt vastab veaga?
Ebaõnnestuv robots.txt võib blokeerida rohkem kui ükski rida Disallow. RFC 9309 järgi tähendab 4xx-vastus, et robot võib kõike laadida, kuid serveri viga (5xx) või vastuse puudumine tähendab, et ta peab eeldama, et kogu sait on keelatud. Google peatab selliste vigade esimese 12 tunni jooksul roomamise ja kasutab seejärel kuni 30 päeva oma viimast korras koopiat.
Nii võib koormuse tipp, tulemüürireegel, mis paneb /robots.txt-le kontrolli, või päringute piirang, mis seda hõlmab, viisakad robotid välja jätta, ilma et ükski reegel muutuks. Ülaltoodud testi viimane käsk peaks tagastama 200 ja text/plain. 5xx, ajalõpp või kontrollileht seal on esimene asi, mida parandada.
Kuidas teada saada, millal see algas?
Kuupäev muudab mõistatuse võrdluseks. Filtreeri oma juurdepääsulogides AI-robotite user agent'ide päringud ja otsi päeva, mil nende olekukoodid muutusid 200-st 403-ks, 429-ks või 503-ks, või päeva, mil nad lõpetasid pärast robots.txt lugemist lehtede küsimise; meie juhendis AI-robotite otsimiseks serveri logidest on käsud olemas. CDN-i blokeeritud päringud ei jõua kunagi lähteserverisse, nii et kontrolli ka CDN-i. Cloudflare'is näitab AI Crawl Control olekukoodide jaotust ajas, mida saab robotite kaupa filtreerida.
Seejärel vii see kuupäev kokku juurutuste, pistikprogrammide ja teemade uuenduste, CDN-i seadete muudatuste ja teenusepakkujate teadaannetega. Enne tegutsemist veendu, et lähte-IP-d kuuluvad pakkujale, et vaataksid päris robotit, mitte petist, kes kasutab tema nime.
Kuidas seda järgmisel korral varem märgata?
Kontrolli ligipääsu pärast iga juurutust, CDN-i muudatust ja pistikprogrammi uuendust, mitte ainult siis, kui liiklus langeb. AISeeWhy tasuta kontroll laadib lehe 16 AI- ja otsingurobotina päris brauseri kõrval, rakendab sinu robots.txt-d roboti kaupa ja tuvastab tulemüüri kontrollilehed. Tasuta robots.txt kontrollija näitab roboti kaupa, kas lehte tohib täna kehtiva faili järgi laadida.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Miks ChatGPT lõpetas mu saidi näitamise?
Sageli seetõttu, et OAI-SearchBot, ChatGPT otsingu taga olev robot, sai blokeeritud robots.txt muudatuse, CDN-i poliitika või robotikaitse tõttu. OpenAI ütleb, et saidid, mis seda blokeerivad, ei ilmu ChatGPT otsinguvastustes. Kontrolli selle roboti jaoks iga kihti ja oota pärast robots.txt parandust umbes 24 tundi, sest nii kaua kulub OpenAI sõnul tema süsteemidel kohanemiseks.
Kas Cloudflare hakkas mu saidil Googleboti blokeerima?
See võib juhtuda. Cloudflare ütles, et alates 15. septembrist 2026 blokeerivad Trainingu blokeerivad kliendid ka mitmeotstarbelisi roboteid nagu Googlebot, Applebot ja BingBot. Tema dokumentatsioon ütleb, et valik Training Disallow blokeerib treeningrobotid servas, kuid jätab mitmeotstarbelised robotid välja, nii et kontrolli, millist valikut sinu tsoon kasutab.
Kas saidiehitaja või pistikprogramm võib mu robots.txt-d muuta?
Jah. Saidiehitajad ning SEO- ja turvapistikprogrammid võivad kirjutada robots.txt-sse AI-robotite reegleid ja mõned laiendavad aja jooksul oma robotite loendeid. Pärast iga uuendust laadi avaldatud fail ja loe rühmi, mis kehtivad sinu jaoks olulistele otsingurobotitele.
Miks erineb mu avaldatud robots.txt serveris olevast failist?
Miski sinu serveri ees muudab seda. Näiteks Cloudflare'i hallatud robots.txt lisab samas vastuses sinu faili algusesse oma reeglid ja content signals'id. Ka CMS, mis loob robots.txt päringu ajal, või hosti tasemel seade võib seda asendada või laiendada.
Kui kiiresti AI-robotid pärast parandust tagasi tulevad?
RFC 9309 ütleb, et robotid ei tohiks vahemällu salvestatud robots.txt-d kasutada kauem kui 24 tundi, OpenAI räägib umbes 24 tunnist ja Perplexity kuni 24 tunnist. Tulemüüri muudatused hakkavad kehtima kohe, kui teenusepakkuja need juurutab, kuid robotid tulevad tagasi oma ajakava järgi.
Allikad
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers