Kāpēc mana vietne pēkšņi bloķē MI rāpuļprogrammas?
Vietne, kas sāk bloķēt MI rāpuļprogrammas, gandrīz vienmēr ir mainījusies vienā no piecām vietām: faktiski sniegtajā robots.txt, CDN iestatījumā, piemēram, Cloudflare MI rāpuļprogrammu politikās, aizsardzībā pret robotiem vai pieprasījumu ierobežojumā, mitināšanas noklusējumā vai robots.txt, kas tagad atbild ar kļūdu. Ielādējiet šodienas robots.txt un lapu kā katra rāpuļprogramma, salīdziniet ar pārlūku un ar to, kas bija agrāk, un pārbaudiet šos slāņus šādā secībā.
Neviens neizlemj pazust no MI atbildēm. Tas notiek kā blakusefekts tēmas atjauninājumam, drošības iestatījumam, migrācijai vai mainītam noklusējumam pie pakalpojuma sniedzēja. Pārlūks joprojām redz vietni normāli, tāpēc izmaiņas var palikt nepamanītas, līdz kāds pajautā ChatGPT vai Perplexity par produktu un saņem konkurentu. Katrs slānis atstāj pēdas, ko var pārbaudīt no ārpuses vai žurnālos.
Šajā lapā
- Vai mainījās robots.txt, ko saņem rāpuļprogrammas?
- Vai Cloudflare 2026. gada MI rāpuļprogrammu politikas mainīja to, ko atļauj mana vietne?
- Vai aizsardzība pret robotiem vai pieprasījumu ierobežojums notver rāpuļprogrammas?
- Vai mans mitināšanas pakalpojuma sniedzējs mainīja noklusējumus?
- Vai robots.txt atbild ar kļūdu?
- Kā noskaidrot, kad tas sākās?
- Kā nākamreiz to pamanīt ātrāk?
Vai mainījās robots.txt, ko saņem rāpuļprogrammas?
Ielādējiet https://yourdomain.com/robots.txt un salīdziniet to ar failu repozitorijā vai rezerves kopijā. Skatieties sniegto failu, nevis to, kas ir diskā, jo vairāki slāņi to var mainīt pa ceļam:
- Izvietošana piegādā testa vides robots.txt ar
Disallow: /, vai migrācija atstāj platformas noklusējumu. - Vietņu veidotāja iestatījums pievieno MI rāpuļprogrammu kārtulas. Squarespace, piemēram, ir opcija Block known artificial intelligence crawlers, kas robots.txt ieraksta 26 robotu nosaukumus un, kā norādīts, laika gaitā var pievienot vēl. Pēc noklusējuma tā ir izslēgta, tāpēc kādam tā jāieslēdz, bet saraksts pēc tam var augt.
- SEO vai drošības spraudņa atjauninājums ieraksta jaunas kārtulas vai pievieno jaunu opciju, ko kāds ieslēdz.
- Cloudflare jūsu failam priekšā pievieno savu pārvaldīto robots.txt, ja ir ieslēgts Bot Preference Sync un kāda MI politika iestatīta uz Block vai Disallow. Sniegtais fails tad sākas ar
Disallow: /priekšClaudeBot,GPTBotun sešiem citiem apmācības marķieriem, lai gan jūsu pašu fails nemainījās. - Kārtula, kas bija domāta apmācības rāpuļprogrammai, tika nokopēta citām, ieskaitot meklēšanas rāpuļprogrammas, piemēram,
OAI-SearchBot,Claude-SearchBotvaiPerplexityBot.
Google Search Console robots.txt pārskats parāda versijas, ko Google ielādēja pēdējās 30 dienās, ar jaunu ierakstu katru reizi, kad mainījās fails vai ielādes rezultāts. Tas aptver tikai to, ko redzēja Google, bet, ja vien jūsu serveris nesniedz robots.txt atkarībā no user-agent, MI rāpuļprogrammas saņēma to pašu failu.
Vai Cloudflare 2026. gada MI rāpuļprogrammu politikas mainīja to, ko atļauj mana vietne?
Cloudflare vairākkārt mainījusi savas MI rāpuļprogrammu vadīklas, un dažas izmaiņas maina zonas darbību, neviens to nerediģējot. 2025. gada 1. jūlijā tā sāka jaunajiem domēniem reģistrācijā jautāt, vai atļaut MI rāpuļprogrammas, ar bloķēšanu kā sākuma stāvokli. 2026. gada 1. jūlijā tā vienoto slēdzi Block AI bots aizstāja ar atsevišķām politikām Search, Agent un Training visos plānos, ieskaitot Free.
Lielāko daļu vietņu pieķer jauktas nozīmes rāpuļprogrammas. Cloudflare dokumentācija norāda, ka Training darbības attiecas arī uz rāpuļprogrammām, ko izmanto gan meklēšanai, gan apmācībai. Tās 2026. gada jūlija paziņojumā teikts, ka no 2026. gada 15. septembra daudzfunkcionālas rāpuļprogrammas, piemēram, Googlebot, Applebot un BingBot, tiks bloķētas klientiem, kuri izvēlējušies bloķēt Training, vai nu ar jaunajām opcijām, vai ar mantoto iestatījumu Block AI bots. Tāpēc pirms gada iestatīta atteikšanās no apmācības tagad var skart meklēšanas rāpuļprogrammas.
Jauno domēnu noklusējumi laika gaitā aprakstīti dažādi. Tajā pašā paziņojumā teikts, ka jauniem domēniem no 2026. gada 15. septembra Training un Agent būs bloķēti lapās, kurās rāda reklāmas, bet politiku dokumentācija, kas atjaunināta 2026. gada 2. novembrī, saka, ka jauni domēni sākas ar visām trim uz Allow. Atveriet Security, tad Settings, filtrējiet pēc Bot traffic un izlasiet AI Crawler and Agent access policies savai zonai. Mūsu rokasgrāmatā par Cloudflare AI Crawl Control paskaidrots katrs iestatījums.
Vai aizsardzība pret robotiem vai pieprasījumu ierobežojums notver rāpuļprogrammas?
Aizsardzība pret robotiem vērtē katru pieprasījumu, un rāpuļprogrammas ātri ielādē daudz lapu no datu centriem, kā jau roboti to dara. Rāpuļprogramma, kas pagājušajā mēnesī tika cauri, var sākt saņemt pārbaudes lapas pēc tam, kad tās operators maina IP diapazonus vai apstaigāšanas ātrumu, vai pēc aizsardzības kārtulu atjaunināšanas. Bieži cēlonis ir Cloudflare Bot Fight Mode, un Cloudflare norāda, ka to nevar apiet vai izlaist ar WAF pielāgotajiem noteikumiem vai Page Rules, tāpēc vēlāk pievienots atļaujošs noteikums nepalīdzēs, kamēr tas ir ieslēgts. Jauns pieprasījumu ierobežojums, kas uz pieprasījumu uzplūdiem atbild ar 429, aktīvai rāpuļprogrammai rada to pašu efektu.
Testējiet no ārpuses: pieprasiet lapu kā pārlūks un kā divas MI meklēšanas rāpuļprogrammas, tad pieprasiet robots.txt kā rāpuļprogramma.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 vai 503 tikai rāpuļprogrammai, lapa ar virsrakstu Just a moment... vai daudz mazāks saturs nekā pārlūkam nozīmē, ka pret rāpuļprogrammu izturas citādi. Tests nāk no jūsu IP, nevis no piegādātāja, tāpēc kārtulas, kas balstītas uz verificēta robota statusu, pret īsto rāpuļprogrammu joprojām var izturēties citādi. Ugunsmūra notikumu žurnāls parāda, kura kārtula atbildēja.
Vai mans mitināšanas pakalpojuma sniedzējs mainīja noklusējumus?
Daži mitinātāji filtrē MI datplūsmu serverī, pirms darbojas jūsu pašu kārtulas. SiteGround, piemēram, 2025. gada augustā rakstīja, ka pēc noklusējuma bloķē MI rāpuļprogrammas, kas paredzētas apmācības datu vākšanai, un atļauj rāpuļprogrammas, kas ierodas, kad cilvēks jautā MI asistentam par lapu. Šādas kārtulas jūsu robots.txt neparādās, un tās var mainīties, kad mitinātājs atjaunina savus robotu sarakstus.
Ja bloķējums vienlaikus parādās vairākās vietnēs pie tā paša mitinātāja vai atbildēs, kas nekad nesasniedz jūsu lietotnes žurnālus, pajautājiet mitinātājam, kuras robotu kārtulas attiecas uz jūsu kontu un vai varat izslēgt no tām rāpuļprogrammas, kuras vēlaties paturēt.
Vai robots.txt atbild ar kļūdu?
Robots.txt, kas neizdodas, var bloķēt vairāk nekā jebkura Disallow rinda. Saskaņā ar RFC 9309 atbilde 4xx nozīmē, ka rāpuļprogramma drīkst ielādēt visu, bet servera kļūda (5xx) vai atbildes neesamība nozīmē, ka tai jāpieņem, ka visa vietne ir aizliegta. Google šādu kļūdu pirmajās 12 stundās pārtrauc apstaigāšanu un pēc tam līdz 30 dienām izmanto pēdējo labo kopiju.
Tā slodzes lēciens, ugunsmūra kārtula, kas pārbauda /robots.txt, vai pieprasījumu ierobežojums, kas to ietver, var izslēgt godprātīgas rāpuļprogrammas, nemainoties nevienai kārtulai. Pēdējai komandai iepriekšējā testā jāatgriež 200 un text/plain. 5xx, noildze vai pārbaudes lapa tur ir pirmais, kas jālabo.
Kā noskaidrot, kad tas sākās?
Datums pārvērš noslēpumu salīdzinājumā. Piekļuves žurnālos filtrējiet pieprasījumus no MI rāpuļprogrammu user-agent un meklējiet dienu, kad to statusa kodi mainījās no 200 uz 403, 429 vai 503, vai dienu, kad tās pēc robots.txt nolasīšanas pārstāja pieprasīt lapas; mūsu rokasgrāmatā par servera žurnālu pārbaudi MI rāpuļprogrammām ir komandas. Pieprasījumi, ko bloķēja jūsu CDN, nekad nesasniedz izcelsmes serveri, tāpēc pārbaudiet arī CDN. Cloudflare AI Crawl Control rāda statusa kodu sadalījumu laika gaitā, ko var filtrēt pēc rāpuļprogrammas.
Tad salīdziniet šo datumu ar izvietošanām, spraudņu un tēmu atjauninājumiem, CDN iestatījumu izmaiņām un pakalpojumu sniedzēju paziņojumiem. Pirms rīkojaties, pārliecinieties, ka avota IP pieder piegādātājam, lai skatītos uz īsto rāpuļprogrammu, nevis uz viltvārdi, kas izmanto tās nosaukumu.
Kā nākamreiz to pamanīt ātrāk?
Pārbaudiet piekļuvi pēc katras izvietošanas, CDN izmaiņām un spraudņa atjauninājuma, ne tikai tad, kad krītas datplūsma. Bezmaksas AISeeWhy pārbaude ielādē lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro jūsu robots.txt katrai rāpuļprogrammai un atpazīst ugunsmūra pārbaudes lapas. Bezmaksas robots.txt pārbaudītājs katrai rāpuļprogrammai parāda, vai lapu drīkst ielādēt saskaņā ar šodien aktīvo failu.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Kāpēc ChatGPT pārstāja rādīt manu vietni?
Bieži tāpēc, ka OAI-SearchBot, rāpuļprogramma aiz ChatGPT meklēšanas, tika bloķēta ar robots.txt izmaiņām, CDN politiku vai aizsardzību pret robotiem. OpenAI norāda, ka vietnes, kas to bloķē, neparādīsies ChatGPT meklēšanas atbildēs. Pārbaudiet katru slāni šai rāpuļprogrammai un pēc robots.txt labojuma pagaidiet apmēram 24 stundas — tik ilgi, pēc OpenAI teiktā, tās sistēmām vajag, lai pielāgotos.
Vai Cloudflare sāka bloķēt Googlebot manā vietnē?
Tas var notikt. Cloudflare paziņoja, ka no 2026. gada 15. septembra klienti, kas bloķē Training, bloķē arī daudzfunkcionālas rāpuļprogrammas, piemēram, Googlebot, Applebot un BingBot. Tās dokumentācija saka, ka opcija Training Disallow bloķē apmācības rāpuļprogrammas tīkla malā, bet neskar jauktas lietošanas rāpuļprogrammas, tāpēc pārbaudiet, kuru opciju izmanto jūsu zona.
Vai vietņu veidotājs vai spraudnis var mainīt robots.txt manā vietā?
Jā. Vietņu veidotāji un SEO vai drošības spraudņi var ierakstīt robots.txt MI rāpuļprogrammu kārtulas, un daži laika gaitā paplašina savus robotu sarakstus. Pēc katra atjauninājuma ielādējiet aktīvo failu un izlasiet grupas, kas attiecas uz jums svarīgajām meklēšanas rāpuļprogrammām.
Kāpēc mans aktīvais robots.txt atšķiras no faila manā serverī?
Kaut kas pirms jūsu servera to maina. Cloudflare pārvaldītais robots.txt, piemēram, tajā pašā atbildē jūsu failam priekšā pievieno savas kārtulas un satura signālus. To var aizstāt vai papildināt arī CMS, kas robots.txt ģenerē pēc pieprasījuma, vai mitinātāja līmeņa iestatījums.
Cik ilgā laikā MI rāpuļprogrammas atgriežas pēc labojuma?
RFC 9309 nosaka, ka rāpuļprogrammām nevajadzētu izmantot kešotu robots.txt ilgāk par 24 stundām, OpenAI min apmēram 24 stundas un Perplexity — līdz 24 stundām. Ugunsmūra izmaiņas stājas spēkā, tiklīdz pakalpojuma sniedzējs tās izvieto, bet rāpuļprogrammas atgriežas pēc sava grafika.
Avoti
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers