Kodėl mano svetainė staiga blokuoja DI robotus?
Svetainėje, kuri pradeda blokuoti DI robotus, beveik visada pasikeitė viena iš penkių vietų: iš tikrųjų pateikiamas robots.txt, CDN nustatymas, pvz., Cloudflare DI robotų politikos, apsauga nuo robotų ar užklausų dažnio riba, prieglobos numatytieji nustatymai arba robots.txt, kuris dabar atsako klaida. Atsisiųskite šiandienos robots.txt ir puslapį kaip kiekvienas robotas, palyginkite su naršykle ir su tuo, kas buvo anksčiau, ir patikrinkite tuos sluoksnius tokia tvarka.
Niekas nenusprendžia dingti iš DI atsakymų. Tai nutinka kaip šalutinis temos atnaujinimo, saugumo nustatymo, perkėlimo ar pakeisto tiekėjo numatytojo nustatymo poveikis. Naršyklė svetainę vis dar mato įprastai, todėl pokytis gali likti nepastebėtas, kol kas nors paklausia ChatGPT ar Perplexity apie produktą ir gauna konkurentą. Kiekvienas sluoksnis palieka pėdsakų, kuriuos galima patikrinti iš išorės arba žurnaluose.
Šiame puslapyje
- Ar pasikeitė robots.txt, kurį gauna robotai?
- Ar Cloudflare 2026 m. DI robotų politikos pakeitė, ką leidžia mano svetainė?
- Ar robotus pagauna apsauga nuo robotų ar užklausų dažnio riba?
- Ar mano prieglobos paslaugų teikėjas pakeitė numatytuosius nustatymus?
- Ar robots.txt atsako klaida?
- Kaip sužinoti, kada tai prasidėjo?
- Kaip kitą kartą tai pastebėti anksčiau?
Ar pasikeitė robots.txt, kurį gauna robotai?
Atsisiųskite https://yourdomain.com/robots.txt ir palyginkite su failu savo saugykloje ar atsarginėje kopijoje. Žiūrėkite į pateikiamą failą, o ne į esantį diske, nes keli sluoksniai pakeliui jį gali pakeisti:
- Diegimas išleidžia testinės aplinkos robots.txt su
Disallow: /, arba po perkėlimo lieka platformos numatytasis failas. - Svetainių kūrimo įrankio nustatymas prideda DI robotų taisykles. Pavyzdžiui, Squarespace turi parinktį Block known artificial intelligence crawlers, kuri į robots.txt įrašo 26 robotų pavadinimus ir, kaip teigiama, laikui bėgant jų gali būti pridėta daugiau. Pagal numatytuosius nustatymus ji išjungta, todėl kas nors turi ją įjungti, bet vėliau sąrašas gali augti.
- SEO ar saugumo įskiepio atnaujinimas įrašo naujas taisykles arba prideda naują parinktį, kurią kas nors įjungia.
- Cloudflare savo valdomą robots.txt prideda jūsų failo pradžioje, kai įjungtas Bot Preference Sync, o DI politika nustatyta į Block arba Disallow. Tada pateikiamas failas prasideda
Disallow: /robotamsClaudeBot,GPTBotir dar šešiems mokymo žetonams, nors jūsų pačių failas nepasikeitė. - Mokymo robotui skirta taisyklė buvo nukopijuota kitiems, įskaitant paieškos robotus, tokius kaip
OAI-SearchBot,Claude-SearchBotarPerplexityBot.
Google Search Console robots.txt ataskaita rodo versijas, kurias Google atsisiuntė per pastarąsias 30 dienų, su nauju įrašu kiekvieną kartą, kai pasikeitė failas ar atsisiuntimo rezultatas. Ji apima tik tai, ką matė Google, bet jei jūsų serveris robots.txt nekeičia pagal user agent, DI robotai gavo tą patį failą.
Ar Cloudflare 2026 m. DI robotų politikos pakeitė, ką leidžia mano svetainė?
Cloudflare savo DI robotų valdymą keitė kelis kartus, ir kai kurie pakeitimai keičia zonos elgesį niekam jos neredaguojant. 2025 m. liepos 1 d. ji pradėjo registruojant naujus domenus klausti, ar leisti DI robotus, o pradinė būsena buvo blokavimas. 2026 m. liepos 1 d. vieną jungiklį Block AI bots ji pakeitė atskiromis Search, Agent ir Training politikomis visiems planams, įskaitant Free.
Daugumą svetainių pagauna daugiatiksliai robotai. Cloudflare dokumentacijoje rašoma, kad Training veiksmai taikomi ir robotams, naudojamiems tiek paieškai, tiek mokymui. 2026 m. liepos pranešime teigta, kad nuo 2026 m. rugsėjo 15 d. daugiatiksliai robotai, tokie kaip Googlebot, Applebot ir BingBot, bus blokuojami klientams, pasirinkusiems blokuoti Training, nesvarbu, per naujas parinktis ar senąjį nustatymą Block AI bots. Taigi prieš metus nustatytas mokymo atsisakymas dabar gali paliesti ir paieškos robotus.
Naujų domenų numatytieji nustatymai laikui bėgant buvo aprašomi skirtingai. Tame pačiame pranešime teigta, kad nuo 2026 m. rugsėjo 15 d. naujiems domenams Training ir Agent bus blokuojami puslapiuose, rodančiuose reklamą, o 2026 m. lapkričio 2 d. atnaujintoje politikos dokumentacijoje rašoma, kad nauji domenai pradeda su visomis trimis Allow. Atidarykite Security, tada Settings, filtruokite pagal Bot traffic ir perskaitykite savo zonos AI Crawler and Agent access policies. Mūsų vadove apie Cloudflare AI Crawl Control paaiškintas kiekvienas nustatymas.
Ar robotus pagauna apsauga nuo robotų ar užklausų dažnio riba?
Apsauga nuo robotų vertina kiekvieną užklausą, o robotai greitai atsisiunčia daug puslapių iš duomenų centrų – būtent taip elgiasi robotai. Praėjusį mėnesį praėjęs robotas gali pradėti gauti patikrinimo puslapius, kai jo operatorius pakeičia IP intervalus ar naršymo spartą arba kai atnaujinamos apsaugos taisyklės. Dažna priežastis yra Cloudflare Bot Fight Mode, o Cloudflare teigia, kad jo negalima apeiti ar praleisti WAF pasirinktinėmis taisyklėmis ar Page Rules, todėl kol jis įjungtas, vėliau pridėta leidimo taisyklė nepadės. Nauja užklausų dažnio riba, į užklausų pliūpsnius atsakanti 429, aktyviam robotui turi tokį patį poveikį.
Patikrinkite iš išorės: užklauskite puslapio kaip naršyklė ir kaip du DI paieškos robotai, tada užklauskite robots.txt kaip robotas.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Jei tik robotas gauna 403, 429 ar 503, puslapį pavadinimu Just a moment... arba daug mažesnį turinį nei naršyklė, su robotu elgiamasi kitaip. Testas siunčiamas iš jūsų IP, o ne iš tiekėjo, todėl taisyklės, paremtos patikrinto roboto statusu, su tikru robotu vis tiek gali elgtis kitaip. Kuri taisyklė atsakė, rodo ugniasienės įvykių žurnalas.
Ar mano prieglobos paslaugų teikėjas pakeitė numatytuosius nustatymus?
Kai kurie prieglobos teikėjai DI srautą filtruoja serveryje, dar prieš suveikiant jūsų taisyklėms. Pavyzdžiui, SiteGround 2025 m. rugpjūtį rašė, kad pagal numatytuosius nustatymus blokuoja DI robotus, skirtus mokymo duomenims rinkti, ir leidžia robotus, kurie lankosi, kai žmogus klausia DI asistento apie puslapį. Tokios taisyklės nerodomos jūsų robots.txt ir gali pasikeisti, kai teikėjas atnaujina robotų sąrašus.
Jei blokavimas vienu metu atsiranda keliose to paties teikėjo svetainėse arba atsakymuose, kurie niekada nepasiekia jūsų programos žurnalų, paklauskite teikėjo, kokios robotų taisyklės taikomos jūsų paskyrai ir ar galite padaryti išimtį robotams, kuriuos norite išlaikyti.
Ar robots.txt atsako klaida?
Neveikiantis robots.txt gali užblokuoti daugiau nei bet kuri Disallow eilutė. Pagal RFC 9309 atsakymas 4xx reiškia, kad robotas gali atsisiųsti viską, bet serverio klaida (5xx) arba jokio atsakymo reiškia, kad jis turi laikyti visą svetainę uždrausta. Google per pirmas 12 tokių klaidų valandų nustoja naršyti, o vėliau iki 30 dienų naudoja paskutinę gerą kopiją.
Taip apkrovos šuolis, ugniasienės taisyklė, rodanti patikrinimą /robots.txt, arba užklausų dažnio riba, apimanti ir šį failą, gali išstumti sąžiningus robotus nepakeitus nė vienos taisyklės. Paskutinė aukščiau esančio testo komanda turėtų grąžinti 200 ir text/plain. Jei ten gaunate 5xx, laiko pabaigą ar patikrinimo puslapį, tai taisykite pirmiausia.
Kaip sužinoti, kada tai prasidėjo?
Data paslaptį paverčia palyginimu. Prieigos žurnaluose atsifiltruokite DI robotų user agent užklausas ir ieškokite dienos, kai jų būsenos kodai pasikeitė iš 200 į 403, 429 ar 503, arba dienos, kai perskaitę robots.txt jie nustojo užklausti puslapių; mūsų vadove apie DI robotų paiešką serverio žurnaluose rasite komandas. CDN užblokuotos užklausos niekada nepasiekia pradinio serverio, todėl patikrinkite ir CDN. Cloudflare AI Crawl Control rodo būsenos kodų pasiskirstymą laike, kurį galima filtruoti pagal robotą.
Tada sugretinkite tą datą su diegimais, įskiepių ir temų atnaujinimais, CDN nustatymų pakeitimais ir tiekėjų pranešimais. Prieš imdamiesi veiksmų įsitikinkite, kad šaltinio IP priklauso tiekėjui, kad žiūrėtumėte į tikrą robotą, o ne į jo vardu besinaudojantį apsimetėlį.
Kaip kitą kartą tai pastebėti anksčiau?
Prieigą tikrinkite po kiekvieno diegimo, CDN pakeitimo ir įskiepio atnaujinimo, o ne tik kai sumažėja srautas. Nemokama AISeeWhy patikra atsisiunčia puslapį kaip 16 DI ir paieškos robotų kartu su tikra naršykle, kiekvienam robotui pritaiko jūsų robots.txt ir atpažįsta ugniasienės patikrinimo puslapius. Nemokamas robots.txt testeris kiekvienam robotui parodo, ar puslapį galima atsisiųsti pagal šiandien veikiantį failą.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Kodėl ChatGPT nustojo rodyti mano svetainę?
Dažnai todėl, kad OAI-SearchBot, robotas, kuriuo remiasi ChatGPT paieška, buvo užblokuotas robots.txt pakeitimu, CDN politika ar apsauga nuo robotų. OpenAI teigia, kad jį blokuojančios svetainės nebus rodomos ChatGPT paieškos atsakymuose. Patikrinkite kiekvieną sluoksnį šiam robotui ir po robots.txt pataisymo palaukite apie 24 valandas – tiek, pasak OpenAI, jos sistemoms reikia prisitaikyti.
Ar Cloudflare pradėjo blokuoti Googlebot mano svetainėje?
Gali būti. Cloudflare teigė, kad nuo 2026 m. rugsėjo 15 d. klientai, blokuojantys Training, blokuoja ir daugiatikslius robotus, tokius kaip Googlebot, Applebot ir BingBot. Jos dokumentacijoje rašoma, kad Training parinktis Disallow blokuoja mokymo robotus tinklo krašte, bet nepaliečia mišrios paskirties robotų, todėl patikrinkite, kurią parinktį naudoja jūsų zona.
Ar svetainių kūrimo įrankis ar įskiepis gali pakeisti robots.txt už mane?
Taip. Svetainių kūrimo įrankiai ir SEO ar saugumo įskiepiai gali įrašyti DI robotų taisykles į robots.txt, o kai kurie laikui bėgant plečia robotų sąrašus. Po kiekvieno atnaujinimo atsisiųskite veikiantį failą ir perskaitykite grupes, taikomas jums svarbiems paieškos robotams.
Kodėl veikiantis robots.txt skiriasi nuo failo mano serveryje?
Kažkas priešais jūsų serverį jį keičia. Pavyzdžiui, Cloudflare valdomas robots.txt tame pačiame atsakyme jūsų failo pradžioje prideda savo taisykles ir turinio signalus. Jį pakeisti ar papildyti gali ir TVS, generuojanti robots.txt pagal užklausą, arba prieglobos lygio nustatymas.
Per kiek laiko DI robotai sugrįžta, kai problemą sutvarkau?
RFC 9309 teigia, kad robotai neturėtų naudoti talpykloje laikomo robots.txt ilgiau nei 24 valandas, OpenAI nurodo apie 24 valandas, o Perplexity – iki 24 valandų. Ugniasienės pakeitimai įsigalioja vos tik juos įdiegia jūsų tiekėjas, bet robotai grįžta pagal savo tvarkaraštį.
Šaltiniai
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers