Bakit biglang bina-block ng site ko ang mga AI crawler?

Inilathala

Maikling sagot

Ang site na nagsisimulang mag-block ng mga AI crawler ay halos palaging nagbago sa isa sa limang lugar: ang robots.txt na talagang ipinapadala, isang CDN setting gaya ng mga AI crawler policy ng Cloudflare, bot protection o rate limit, isang default ng hosting, o robots.txt na sumasagot na ngayon ng error. Kunin ang robots.txt ngayon at ang isang pahina bilang bawat crawler, ikumpara ang mga ito sa browser at sa dati mong mayroon, at suriin ang mga layer na iyon sa ganoong pagkakasunod.

Walang nagpapasyang mawala sa mga AI answer. Nangyayari ito bilang side effect ng theme update, security setting, migration o binagong default ng isang provider. Normal pa ring nakikita ng browser ang site, kaya puwedeng hindi mapansin ang pagbabago hanggang may magtanong sa ChatGPT o Perplexity tungkol sa produkto at kakumpitensya ang lumabas. Nag-iiwan ng bakas ang bawat layer na masusuri mo mula sa labas o sa mga log mo.

Sa pahinang ito
  1. Nagbago ba ang robots.txt na natatanggap ng mga crawler?
  2. Binago ba ng mga AI crawler policy ng Cloudflare sa 2026 ang pinapayagan ng site ko?
  3. Nahuhuli ba ng bot protection o rate limit ang mga crawler?
  4. Binago ba ng hosting provider ko ang mga default nito?
  5. Sumasagot ba ng error ang robots.txt?
  6. Paano ko malalaman kung kailan ito nagsimula?
  7. Paano ko ito mapapansin nang mas maaga sa susunod?

Nagbago ba ang robots.txt na natatanggap ng mga crawler?

Kunin ang https://yourdomain.com/robots.txt at ikumpara ito sa file sa repository o backup mo. Tingnan ang file na ipinapadala, hindi ang nasa disk, dahil maraming layer ang puwedeng magbago rito sa daan:

Ipinapakita ng robots.txt report ng Google Search Console ang mga bersyong kinuha ng Google sa nakaraang 30 araw, na may bagong entry tuwing nagbago ang file o ang resulta ng pagkuha. Saklaw lang nito ang nakita ng Google, pero maliban kung iniiba ng server mo ang robots.txt ayon sa user agent, pareho ang file na nakuha ng mga AI crawler.

Binago ba ng mga AI crawler policy ng Cloudflare sa 2026 ang pinapayagan ng site ko?

Ilang beses nang binago ng Cloudflare ang mga AI crawler control nito, at may mga pagbabagong nagpapalit sa ginagawa ng isang zone nang walang nag-e-edit dito. Noong 1 Hulyo 2025, nagsimula itong magtanong sa mga bagong domain sa sign-up kung papayagan ang mga AI crawler, na blocking ang panimulang estado. Noong 1 Hulyo 2026, pinalitan nito ang iisang switch na Block AI bots ng magkakahiwalay na Search, Agent at Training policy, para sa lahat ng plan kasama ang Free.

Ang detalyeng nakakahuli sa karamihan ng site ay ang mga mixed-purpose crawler. Sabi ng documentation ng Cloudflare, nalalapat din ang mga Training action sa mga crawler na ginagamit para sa search at training. Sinabi ng anunsyo nito noong Hulyo 2026 na mula 15 Setyembre 2026, iba-block ang mga multi-purpose crawler gaya ng Googlebot, Applebot at BingBot para sa mga customer na piniling i-block ang Training, sa bagong mga opsyon man o sa lumang setting na Block AI bots. Kaya ang training opt-out na itinakda isang taon na ang nakaraan ay puwede nang umabot ngayon sa mga search crawler.

Iba-iba ang paglalarawan sa mga default para sa mga bagong domain sa paglipas ng panahon. Sinabi ng parehong anunsyo na iba-block ang Training at Agent sa mga bagong domain sa mga pahinang may ads mula 15 Setyembre 2026, habang sinasabi ng policy documentation na na-update noong 2 Nobyembre 2026 na nagsisimula ang mga bagong domain na naka-Allow ang tatlo. Buksan ang Security, saka ang Settings, i-filter ayon sa Bot traffic at basahin ang AI Crawler and Agent access policies para sa sarili mong zone. Ipinapaliwanag ng gabay namin sa Cloudflare AI Crawl Control ang bawat setting.

Nahuhuli ba ng bot protection o rate limit ang mga crawler?

Hinuhusgahan ng bot protection ang bawat request, at mabilis na kumukuha ng maraming pahina ang mga crawler mula sa mga data center, na siyang ginagawa ng mga bot. Puwedeng magsimulang makatanggap ng mga challenge page ang crawler na nakakalusot noong nakaraang buwan matapos baguhin ng operator nito ang mga IP range o crawl rate, o matapos ma-update ang mga rule ng protection. Karaniwang dahilan ang Bot Fight Mode ng Cloudflare, at sabi ng Cloudflare na hindi ito malalampasan o mala-laktawan gamit ang mga WAF custom rule o Page Rules, kaya hindi makakatulong ang allow rule na idinagdag pagkatapos habang naka-on ito. Ang bagong rate limit na sumasagot sa mga burst ng 429 ay may parehong epekto sa abalang crawler.

Sumubok mula sa labas: i-request ang isang pahina bilang browser at bilang dalawang AI search crawler, saka i-request ang robots.txt bilang crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Ang 403, 429 o 503 para sa crawler lang, pahinang may title na Just a moment..., o body na mas maliit nang husto kaysa sa browser ay nangangahulugang iba ang trato sa crawler. Galing sa IP mo ang test, hindi sa vendor, kaya puwede pa ring iba ang trato ng mga rule na batay sa verified bot status sa tunay na crawler. Ipinapakita ng event log ng firewall kung aling rule ang sumagot.

Binago ba ng hosting provider ko ang mga default nito?

May mga host na nagfi-filter ng AI traffic sa server, bago pa tumakbo ang sarili mong mga rule. Halimbawa, isinulat ng SiteGround noong Agosto 2025 na bina-block nito bilang default ang mga AI crawler na dinisenyo para mangolekta ng training data at pinapayagan ang mga crawler na bumibisita kapag nagtanong ang isang tao sa AI assistant tungkol sa isang pahina. Hindi lumalabas sa robots.txt mo ang ganitong mga rule, at puwedeng magbago ang mga ito kapag in-update ng host ang mga listahan nito ng bot.

Kung lumabas nang sabay ang block sa ilang site na iisa ang host, o sa mga response na hindi umaabot sa mga log ng application mo, tanungin ang host kung aling mga bot rule ang nalalapat sa account mo at kung puwede mong i-exempt ang mga crawler na gusto mong panatilihin.

Sumasagot ba ng error ang robots.txt?

Mas marami ang puwedeng ma-block ng robots.txt na pumapalya kaysa sa anumang linyang Disallow. Ayon sa RFC 9309, ang 4xx na response ay nangangahulugang puwedeng kunin ng crawler ang lahat, pero ang server error (5xx) o walang sagot ay nangangahulugang dapat nitong ituring na disallowed ang buong site. Humihinto ang Google sa pag-crawl sa unang 12 oras ng ganitong mga error at pagkatapos ay ginagamit ang huling maayos na kopya nito nang hanggang 30 araw.

Ganito napapalabas ng isang load spike, firewall rule na nagcha-challenge sa /robots.txt, o rate limit na sumasaklaw dito ang mga maayos na crawler nang walang kahit isang rule na nagbabago. Dapat magbalik ng 200 at text/plain ang huling command sa test sa itaas. Ang 5xx, timeout o challenge page doon ang unang dapat ayusin.

Paano ko malalaman kung kailan ito nagsimula?

Ginagawang paghahambing ng isang petsa ang misteryo. Sa mga access log mo, i-filter ang mga request mula sa mga user agent ng AI crawler at hanapin ang araw na lumipat ang mga status code nila mula 200 papuntang 403, 429 o 503, o ang araw na huminto sila sa pag-request ng mga pahina pagkatapos basahin ang robots.txt; nasa gabay namin sa pagsusuri ng server log para sa mga AI crawler ang mga command. Hindi kailanman umaabot sa origin ang mga request na bina-block ng CDN mo, kaya suriin din ang CDN. Sa Cloudflare, ipinapakita ng AI Crawl Control ang distribusyon ng mga status code sa paglipas ng panahon na mafi-filter mo ayon sa crawler.

Pagkatapos, itapat ang petsang iyon sa mga deploy, update ng plugin at theme, pagbabago sa CDN setting at anunsyo ng mga provider. Bago kumilos, kumpirmahin na pag-aari ng vendor ang mga source IP, para tunay na crawler ang tinitingnan mo at hindi impostor na gumagamit ng pangalan nito.

Paano ko ito mapapansin nang mas maaga sa susunod?

Suriin ang access pagkatapos ng bawat deploy, pagbabago sa CDN at update ng plugin, hindi lang kapag bumaba ang traffic. Kinukuha ng libreng pagsusuri ng AISeeWhy ang isang pahina bilang 16 na AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat crawler at nakikilala ang mga challenge page ng firewall. Ipinapakita ng libreng robots.txt checker, sa bawat crawler, kung puwedeng kunin ang isang pahina ayon sa file na live ngayon.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Bakit hindi na ipinapakita ng ChatGPT ang site ko?

Kadalasan dahil na-block ang OAI-SearchBot, ang crawler sa likod ng ChatGPT search, dahil sa pagbabago sa robots.txt, CDN policy o bot protection. Sabi ng OpenAI, hindi lalabas sa mga sagot ng ChatGPT search ang mga site na nagba-block dito. Suriin ang bawat layer para sa crawler na iyon, at maghintay nang mga 24 oras pagkatapos ayusin ang robots.txt, na siyang tagal na sinasabi ng OpenAI na kailangan ng mga system nito para mag-adjust.

Nagsimula bang i-block ng Cloudflare ang Googlebot sa site ko?

Puwedeng mangyari iyon. Sinabi ng Cloudflare na mula 15 Setyembre 2026, bina-block din ng mga customer na nagba-block ng Training ang mga multi-purpose crawler gaya ng Googlebot, Applebot at BingBot. Sabi ng documentation nito, bina-block ng opsyong Training Disallow ang mga training crawler sa edge pero hindi isinasama ang mga mixed-use crawler, kaya tingnan kung aling opsyon ang ginagamit ng zone mo.

Puwede bang baguhin ng website builder o plugin ang robots.txt para sa akin?

Oo. Kayang magsulat ng mga site builder at SEO o security plugin ng mga AI crawler rule sa robots.txt, at may ilang nagpapalawak ng listahan nila ng bot sa paglipas ng panahon. Pagkatapos ng bawat update, kunin ang live na file at basahin ang mga grupong naaangkop sa mga search crawler na mahalaga sa iyo.

Bakit iba ang live kong robots.txt sa file sa server ko?

May nasa harap ng server mo na nagbabago rito. Halimbawa, idinadagdag ng managed robots.txt ng Cloudflare ang sarili nitong mga rule at content signal sa unahan ng file mo sa parehong response. Puwede rin itong palitan o dagdagan ng CMS na gumagawa ng robots.txt kapag hiniling, o ng setting sa antas ng host.

Gaano katagal bago bumalik ang mga AI crawler pagkatapos kong ayusin ito?

Sabi ng RFC 9309, hindi dapat gumamit ang mga crawler ng naka-cache na robots.txt nang higit sa 24 oras; mga 24 oras ang sabi ng OpenAI at hanggang 24 oras ang sabi ng Perplexity. Agad na umiiral ang mga pagbabago sa firewall kapag na-deploy na ng provider mo, pero bumabalik ang mga crawler ayon sa sarili nilang iskedyul.

Mga pinagmulan

Iba pang artikulo