મારી સાઇટ અચાનક AI ક્રૉલરને કેમ બ્લૉક કરે છે?
જે સાઇટ AI ક્રૉલરને બ્લૉક કરવા લાગે છે તેમાં લગભગ હંમેશાં આ પાંચમાંથી કોઈ એક જગ્યાએ ફેરફાર થયો હોય છે: ખરેખર મોકલાતી robots.txt, Cloudflareની AI crawler policies જેવું CDN સેટિંગ, બૉટ પ્રોટેક્શન કે રેટ લિમિટ, હોસ્ટિંગનું ડિફૉલ્ટ સેટિંગ, અથવા હવે error આપતી robots.txt. આજની robots.txt અને એક પેજ દરેક ક્રૉલર તરીકે મેળવો, તેમને બ્રાઉઝર સાથે અને પહેલાં જે હતું તેની સાથે સરખાવો, અને આ સ્તરો આ જ ક્રમમાં તપાસો.
કોઈ AI જવાબોમાંથી ગાયબ થવાનું નક્કી કરતું નથી. તે થીમ અપડેટ, સુરક્ષા સેટિંગ, માઇગ્રેશન કે કોઈ પ્રોવાઇડરના બદલાયેલા ડિફૉલ્ટની આડઅસર તરીકે થાય છે. બ્રાઉઝરમાં સાઇટ હજી સામાન્ય દેખાય છે, તેથી કોઈ ChatGPT કે Perplexityને પ્રોડક્ટ વિશે પૂછે અને સ્પર્ધકનું નામ મળે ત્યાં સુધી ફેરફાર ધ્યાનમાં ન આવે એવું બને. દરેક સ્તર એવાં નિશાન છોડે છે જે તમે બહારથી કે તમારા લૉગમાં તપાસી શકો છો.
આ પેજ પર
- શું ક્રૉલરને મળતી robots.txt બદલાઈ છે?
- શું Cloudflareની 2026ની AI crawler policies એ મારી સાઇટ શું મંજૂરી આપે છે તે બદલ્યું?
- શું બૉટ પ્રોટેક્શન કે રેટ લિમિટ ક્રૉલરને પકડી રહ્યાં છે?
- શું મારા હોસ્ટિંગ પ્રોવાઇડરે તેનાં ડિફૉલ્ટ બદલ્યાં?
- શું robots.txt error આપે છે?
- આ ક્યારે શરૂ થયું તે કેવી રીતે શોધવું?
- આગલી વખતે તેને વહેલું કેવી રીતે પકડવું?
શું ક્રૉલરને મળતી robots.txt બદલાઈ છે?
https://yourdomain.com/robots.txt મેળવો અને તેને તમારી repository કે બૅકઅપમાંની ફાઇલ સાથે સરખાવો. ડિસ્ક પરની નહીં, મોકલાતી ફાઇલ જુઓ, કારણ કે રસ્તામાં ઘણાં સ્તરો તેને બદલી શકે છે:
- ડિપ્લૉય
Disallow: /વાળી staging robots.txt મોકલી દે છે, અથવા માઇગ્રેશન પ્લેટફૉર્મનું ડિફૉલ્ટ જેમનું તેમ રહેવા દે છે. - સાઇટ બિલ્ડરનું કોઈ સેટિંગ AI ક્રૉલર નિયમો ઉમેરે છે. ઉદાહરણ તરીકે, Squarespaceમાં Block known artificial intelligence crawlers વિકલ્પ છે જે robots.txtમાં 26 bot નામ લખે છે અને કહે છે કે સમય જતાં વધુ ઉમેરાઈ શકે છે. તે ડિફૉલ્ટ રીતે બંધ હોય છે, તેથી કોઈએ તેને ચાલુ કરવો પડે, પણ પછી યાદી વધી શકે છે.
- SEO કે સુરક્ષા પ્લગઇનનું અપડેટ નવા નિયમો લખે છે, અથવા નવો વિકલ્પ ઉમેરે છે જે કોઈ ચાલુ કરી દે છે.
- જ્યારે Bot Preference Sync ચાલુ હોય અને કોઈ AI policy Block કે Disallow પર સેટ હોય, ત્યારે Cloudflare પોતાની managed robots.txt તમારી ફાઇલની શરૂઆતમાં ઉમેરે છે. પછી મોકલાતી ફાઇલ
ClaudeBot,GPTBotઅને બીજા છ ટ્રેનિંગ ટોકન માટેDisallow: /થી શરૂ થાય છે, ભલે તમારી પોતાની ફાઇલ બદલાઈ ન હોય. - ટ્રેનિંગ ક્રૉલર માટેનો નિયમ બીજા ક્રૉલર માટે પણ કૉપિ થઈ ગયો, જેમાં
OAI-SearchBot,Claude-SearchBotકેPerplexityBotજેવા સર્ચ ક્રૉલર પણ સામેલ છે.
Google Search Consoleનો robots.txt રિપોર્ટ છેલ્લા 30 દિવસમાં Googleએ મેળવેલાં વર્ઝન બતાવે છે, અને દર વખતે ફાઇલ કે મેળવણીનું પરિણામ બદલાય ત્યારે નવી એન્ટ્રી ઉમેરાય છે. તે ફક્ત Googleએ જે જોયું તે આવરી લે છે, પણ જો તમારું સર્વર યુઝર એજન્ટ પ્રમાણે robots.txt બદલતું ન હોય, તો AI ક્રૉલરને પણ એ જ ફાઇલ મળી હતી.
શું Cloudflareની 2026ની AI crawler policies એ મારી સાઇટ શું મંજૂરી આપે છે તે બદલ્યું?
Cloudflareએ તેનાં AI ક્રૉલર નિયંત્રણો ઘણી વાર બદલ્યાં છે, અને કેટલાક ફેરફારો કોઈએ કંઈ એડિટ કર્યા વગર zone શું કરે છે તે બદલી નાખે છે. 1 જુલાઈ 2025થી તેણે નવા ડોમેનને સાઇન-અપ વખતે પૂછવાનું શરૂ કર્યું કે AI ક્રૉલરને મંજૂરી આપવી કે નહીં, અને શરૂઆતની સ્થિતિ બ્લૉકિંગ હતી. 1 જુલાઈ 2026ના રોજ તેણે એક જ Block AI bots સ્વિચને બદલે Free સહિત બધા પ્લાન માટે અલગ Search, Agent અને Training policies મૂકી.
મોટા ભાગની સાઇટને જે વિગત ફસાવે છે તે છે બેવડા હેતુવાળા ક્રૉલર. Cloudflareના દસ્તાવેજ કહે છે કે Training actions સર્ચ અને ટ્રેનિંગ બંને માટે વપરાતા ક્રૉલર પર પણ લાગુ પડે છે. તેની જુલાઈ 2026ની જાહેરાતમાં કહ્યું હતું કે 15 સપ્ટેમ્બર 2026થી, જે ગ્રાહકોએ Training બ્લૉક કરવાનું પસંદ કર્યું હોય, નવા વિકલ્પો દ્વારા કે જૂના Block AI bots સેટિંગ દ્વારા, તેમના માટે Googlebot, Applebot અને BingBot જેવા બહુહેતુક ક્રૉલર બ્લૉક થશે. તેથી એક વર્ષ પહેલાં સેટ કરેલું ટ્રેનિંગ opt-out હવે સર્ચ ક્રૉલર સુધી પહોંચી શકે છે.
નવા ડોમેન માટેનાં ડિફૉલ્ટ સમય જતાં અલગ અલગ રીતે વર્ણવાયાં છે. એ જ જાહેરાતમાં કહ્યું હતું કે 15 સપ્ટેમ્બર 2026થી નવા ડોમેનમાં જાહેરાતો બતાવતાં પેજ પર Training અને Agent બ્લૉક રહેશે, જ્યારે 2 નવેમ્બર 2026ના રોજ અપડેટ થયેલા policy દસ્તાવેજ કહે છે કે નવા ડોમેન ત્રણેય Allow પર રાખીને શરૂ થાય છે. Security, પછી Settings ખોલો, Bot traffic પ્રમાણે ફિલ્ટર કરો અને તમારા પોતાના zone માટે AI Crawler and Agent access policies વાંચો. Cloudflare AI Crawl Control પરની અમારી માર્ગદર્શિકા દરેક સેટિંગ સમજાવે છે.
શું બૉટ પ્રોટેક્શન કે રેટ લિમિટ ક્રૉલરને પકડી રહ્યાં છે?
બૉટ પ્રોટેક્શન દરેક વિનંતીને પરખે છે, અને ક્રૉલર ડેટા સેન્ટરમાંથી ઝડપથી ઘણાં પેજ મેળવે છે, જે bots જ કરે છે. ગયા મહિને પસાર થતો ક્રૉલર તેના ઑપરેટર IP રેન્જ કે ક્રૉલ ઝડપ બદલે પછી, અથવા પ્રોટેક્શન નિયમો અપડેટ થાય પછી, ચેલેન્જ પેજ મેળવવા લાગી શકે છે. Cloudflareનો Bot Fight Mode સામાન્ય કારણ છે, અને Cloudflare કહે છે કે તેને WAF custom rules કે Page Rules વડે બાયપાસ કે સ્કિપ કરી શકાતો નથી, તેથી તે ચાલુ હોય ત્યાં સુધી પછીથી ઉમેરેલો allow નિયમ મદદ નહીં કરે. ઝટકાબંધ વિનંતીઓને 429 આપતી નવી રેટ લિમિટ વ્યસ્ત ક્રૉલર પર આવી જ અસર કરે છે.
બહારથી ટેસ્ટ કરો: પેજને બ્રાઉઝર તરીકે અને બે AI સર્ચ ક્રૉલર તરીકે મંગાવો, પછી robots.txt ક્રૉલર તરીકે મંગાવો.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt ફક્ત ક્રૉલર માટે 403, 429 કે 503, Just a moment... શીર્ષકવાળું પેજ, અથવા બ્રાઉઝર કરતાં ઘણી નાની body નો અર્થ છે કે ક્રૉલર સાથે અલગ વ્યવહાર થાય છે. ટેસ્ટ કંપનીના નહીં, તમારા IP પરથી આવે છે, તેથી verified bot સ્ટેટસ પર આધારિત નિયમો હજી સાચા ક્રૉલર સાથે અલગ વ્યવહાર કરી શકે છે. ફાયરવૉલનો event log બતાવે છે કે કયા નિયમે જવાબ આપ્યો.
શું મારા હોસ્ટિંગ પ્રોવાઇડરે તેનાં ડિફૉલ્ટ બદલ્યાં?
કેટલાક હોસ્ટ તમારા પોતાના નિયમો ચાલે તે પહેલાં સર્વર પર જ AI ટ્રાફિક ફિલ્ટર કરે છે. ઉદાહરણ તરીકે, SiteGroundએ ઑગસ્ટ 2025માં લખ્યું હતું કે તે ટ્રેનિંગ ડેટા એકઠો કરવા બનેલા AI ક્રૉલરને ડિફૉલ્ટ રીતે બ્લૉક કરે છે અને કોઈ વ્યક્તિ AI આસિસ્ટન્ટને પેજ વિશે પૂછે ત્યારે મુલાકાત લેતા ક્રૉલરને મંજૂરી આપે છે. આવા નિયમો તમારી robots.txtમાં દેખાતા નથી, અને હોસ્ટ તેની bot યાદીઓ અપડેટ કરે ત્યારે બદલાઈ શકે છે.
જો એક જ હોસ્ટ પરની ઘણી સાઇટ પર એકસાથે બ્લૉક દેખાય, અથવા એવા જવાબોમાં દેખાય જે ક્યારેય તમારી ઍપ્લિકેશનના લૉગ સુધી પહોંચતા નથી, તો હોસ્ટને પૂછો કે તમારા એકાઉન્ટ પર કયા bot નિયમો લાગુ છે અને તમે જે ક્રૉલર રાખવા માગો છો તેમને છૂટ આપી શકાય કે નહીં.
શું robots.txt error આપે છે?
નિષ્ફળ જતી robots.txt કોઈ પણ Disallow લાઇન કરતાં વધુ બ્લૉક કરી શકે છે. RFC 9309 હેઠળ 4xx જવાબનો અર્થ છે કે ક્રૉલર બધું મેળવી શકે છે, પણ સર્વર error (5xx) કે બિલકુલ જવાબ ન મળવાનો અર્થ છે કે તેણે આખી સાઇટ મનાઈ છે એમ માની લેવું જોઈએ. આવી errors ના પહેલા 12 કલાક Google ક્રૉલિંગ બંધ રાખે છે અને પછી 30 દિવસ સુધી તેની છેલ્લી સારી નકલ વાપરે છે.
આ રીતે લોડ સ્પાઇક, /robots.txt પર ચેલેન્જ આપતો ફાયરવૉલ નિયમ, કે તેને સમાવતી રેટ લિમિટ એક પણ નિયમ બદલાયા વગર સારું વર્તન કરતા ક્રૉલરને બહાર રાખી શકે છે. ઉપરના ટેસ્ટનો છેલ્લો કમાન્ડ 200 અને text/plain આપવો જોઈએ. ત્યાં 5xx, ટાઇમઆઉટ કે ચેલેન્જ પેજ હોય તો સૌથી પહેલાં તે સુધારો.
આ ક્યારે શરૂ થયું તે કેવી રીતે શોધવું?
તારીખ મળે એટલે રહસ્ય સરખામણીમાં ફેરવાય છે. તમારા ઍક્સેસ લૉગમાં AI ક્રૉલર યુઝર એજન્ટની વિનંતીઓ ફિલ્ટર કરો અને એ દિવસ શોધો જ્યારે તેમના સ્ટેટસ કોડ 200થી 403, 429 કે 503 થયા, અથવા જ્યારે robots.txt વાંચ્યા પછી તેમણે પેજ મંગાવવાનું બંધ કર્યું; સર્વર લૉગમાં AI ક્રૉલર તપાસવા પરની અમારી માર્ગદર્શિકામાં કમાન્ડ છે. તમારા CDNએ બ્લૉક કરેલી વિનંતીઓ ક્યારેય origin સુધી પહોંચતી નથી, તેથી CDN પણ તપાસો. Cloudflare પર AI Crawl Control સમય સાથે સ્ટેટસ કોડનું વિતરણ બતાવે છે, જેને ક્રૉલર પ્રમાણે ફિલ્ટર કરી શકાય છે.
પછી એ તારીખને ડિપ્લૉય, પ્લગઇન અને થીમ અપડેટ, CDN સેટિંગના ફેરફારો અને પ્રોવાઇડરની જાહેરાતો સાથે સરખાવો. પગલું લેતાં પહેલાં ખાતરી કરો કે સ્રોત IP કંપનીનાં છે, જેથી તમે સાચો ક્રૉલર જોઈ રહ્યા છો, તેનું નામ વાપરતો કોઈ ઢોંગી નહીં.
આગલી વખતે તેને વહેલું કેવી રીતે પકડવું?
ફક્ત ટ્રાફિક ઘટે ત્યારે નહીં, દરેક ડિપ્લૉય, CDN ફેરફાર અને પ્લગઇન અપડેટ પછી ઍક્સેસ તપાસો. AISeeWhyની મફત તપાસ પેજને સાચા બ્રાઉઝરની સાથે 16 AI અને સર્ચ ક્રૉલર તરીકે મેળવે છે, દરેક ક્રૉલર માટે તમારી robots.txt લાગુ કરે છે અને ફાયરવૉલનાં ચેલેન્જ પેજ ઓળખે છે. મફત robots.txt ચેકર દરેક ક્રૉલર માટે બતાવે છે કે આજે live ફાઇલ મુજબ પેજ મેળવી શકાય કે નહીં.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
ChatGPTએ મારી સાઇટ બતાવવાનું કેમ બંધ કર્યું?
ઘણી વાર એટલા માટે કે ChatGPT સર્ચ પાછળનો ક્રૉલર OAI-SearchBot robots.txtના ફેરફાર, CDN policy કે બૉટ પ્રોટેક્શનથી બ્લૉક થઈ ગયો. OpenAI કહે છે કે તેને બ્લૉક કરતી સાઇટ ChatGPT સર્ચના જવાબોમાં નહીં દેખાય. એ ક્રૉલર માટે દરેક સ્તર તપાસો, અને robots.txt સુધાર્યા પછી આશરે 24 કલાક આપો, જે OpenAI મુજબ તેની સિસ્ટમને ગોઠવાતાં લાગે છે.
શું Cloudflareએ મારી સાઇટ પર Googlebot બ્લૉક કરવાનું શરૂ કર્યું?
એવું થઈ શકે છે. Cloudflareએ કહ્યું હતું કે 15 સપ્ટેમ્બર 2026થી Training બ્લૉક કરતા ગ્રાહકો Googlebot, Applebot અને BingBot જેવા બહુહેતુક ક્રૉલર પણ બ્લૉક કરે છે. તેના દસ્તાવેજ કહે છે કે Training Disallow વિકલ્પ ટ્રેનિંગ ક્રૉલરને edge પર બ્લૉક કરે છે પણ મિશ્ર ઉપયોગવાળા ક્રૉલરને છોડી દે છે, તેથી તમારો zone કયો વિકલ્પ વાપરે છે તે તપાસો.
શું વેબસાઇટ બિલ્ડર કે પ્લગઇન મારા માટે robots.txt બદલી શકે?
હા. સાઇટ બિલ્ડર અને SEO કે સુરક્ષા પ્લગઇન robots.txtમાં AI ક્રૉલર નિયમો લખી શકે છે, અને કેટલાક સમય સાથે તેમની bot યાદીઓ વધારે છે. દરેક અપડેટ પછી live ફાઇલ મેળવો અને તમને મહત્ત્વના સર્ચ ક્રૉલર પર લાગુ પડતાં જૂથ વાંચો.
મારી live robots.txt સર્વર પરની ફાઇલથી અલગ કેમ છે?
તમારા સર્વરની આગળ રહેલું કંઈક તેને બદલે છે. ઉદાહરણ તરીકે, Cloudflareની managed robots.txt એ જ જવાબમાં તમારી ફાઇલની શરૂઆતમાં પોતાના નિયમો અને content signals ઉમેરે છે. વિનંતી પર robots.txt બનાવતું CMS, કે હોસ્ટ-સ્તરનું સેટિંગ, પણ તેને બદલી કે વધારી શકે છે.
સુધાર્યા પછી AI ક્રૉલર પાછા આવતાં કેટલો સમય લાગે?
RFC 9309 કહે છે કે ક્રૉલરે કૅશ કરેલી robots.txt 24 કલાકથી વધુ ન વાપરવી જોઈએ, OpenAI આશરે 24 કલાક કહે છે અને Perplexity 24 કલાક સુધી. ફાયરવૉલના ફેરફાર તમારો પ્રોવાઇડર ડિપ્લૉય કરે કે તરત લાગુ પડે છે, પણ ક્રૉલર પોતાના સમયપત્રક મુજબ પાછા આવે છે.
સ્રોતો
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers