AI ટ્રેનિંગ બ્લૉક કરીને AI સર્ચના જવાબોમાં કેવી રીતે રહેવું

પ્રકાશિત

ટૂંકો જવાબ

મોટા ભાગના AI પ્રોવાઇડર મૉડલ ટ્રેનિંગ અને સર્ચ માટે robots.txtના અલગ ટોકન વાપરે છે. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent અને CCBot જેવા ટ્રેનિંગ ટોકનને મનાઈ કરો, અને OAI-SearchBot, Claude-SearchBot અને PerplexityBot જેવા સર્ચ અને યુઝર ટોકનને મંજૂરી આપો. એ જ પસંદગી શબ્દોમાં જણાવવા Content-Signal લાઇન ઉમેરો.

ઘણા સાઇટ માલિકો એકસાથે બે વસ્તુ ઇચ્છે છે: તેમનું કન્ટેન્ટ AI મૉડલની ટ્રેનિંગમાં ન વપરાય, અને AI આસિસ્ટન્ટ તેમનાં પેજ શોધે, ટાંકે અને લિંક કરે. મોટા પ્રોવાઇડર હવે આ કામ અલગ ક્રૉલર કે ટોકનમાં વહેંચે છે, તેથી robots.txt બંને પસંદગી દર્શાવી શકે છે. મુશ્કેલી એ છે કે નામ દરેક પ્રોવાઇડરમાં અલગ છે, થોડા પ્રોવાઇડર આ પૅટર્નમાં બંધબેસતા નથી, અને એક ખોટી લાઇન તમને ટ્રેનિંગ ડેટાને બદલે AI જવાબોમાંથી દૂર કરી શકે છે.

આ પેજ પર
  1. ટ્રેનિંગ ક્રૉલર અને સર્ચ ક્રૉલર વચ્ચે શું ફરક છે?
  2. કયા ટોકન ટ્રેનિંગ અને કયા સર્ચ નિયંત્રિત કરે છે?
  3. robots.txt કેવી દેખાય છે?
  4. કેટલી સાઇટ પહેલેથી આવું કરે છે?
  5. Content-Signal શું ઉમેરે છે?
  6. આ વિભાજન ક્યાં બરાબર કામ કરતું નથી?
  7. આ વિભાજન કામ કરે છે તે કેવી રીતે તપાસવું?

ટ્રેનિંગ ક્રૉલર અને સર્ચ ક્રૉલર વચ્ચે શું ફરક છે?

ટ્રેનિંગ ક્રૉલર એવાં પેજ ભેગાં કરે છે જેનો ઉપયોગ AI મૉડલ બનાવવા કે સુધારવામાં થઈ શકે. ટ્રેનિંગથી પોતે કોઈ હવાલો કે લિંક મળતી નથી. સર્ચ ક્રૉલર એવો ઇન્ડેક્સ બનાવે છે જેનો ઉપયોગ AI આસિસ્ટન્ટ જવાબ માટે સ્રોતો શોધવામાં કરે છે, અને એ જ સ્રોતો તે ટાંકી શકે છે. યુઝર ટ્રિગર કરે એવો ફેચર કોઈએ પૂછ્યું હોવાથી પેજ લાઇવ ખોલે છે.

પ્રોવાઇડર આ ભૂમિકાઓ અલગ અલગ દસ્તાવેજમાં જણાવે છે અને કહે છે કે સેટિંગ એકબીજાથી સ્વતંત્ર છે. ઉદાહરણ તરીકે, OpenAI કહે છે કે તેના ક્રૉલર માટેનું દરેક robots.txt સેટિંગ બીજાંથી સ્વતંત્ર છે. તેથી ટ્રેનિંગમાંથી બહાર નીકળવાનું બરાબર કરો તો સર્ચમાં તમારી દૃશ્યતા પર અસર થતી નથી.

કયા ટોકન ટ્રેનિંગ અને કયા સર્ચ નિયંત્રિત કરે છે?

પ્રોવાઇડર દસ્તાવેજમાં જણાવે છે તે ટોકન, તેઓ શું નિયંત્રિત કરે છે તે મુજબ જૂથમાં:

robots.txt કેવી દેખાય છે?

RFC 9309 મુજબ સળંગ કેટલીક User-agent લાઇન એક જૂથ બનાવે છે, તેથી નિયમો એ દરેકને લાગુ પડે છે. આ ફાઇલ ઉપરના ટ્રેનિંગ ટોકનમાંથી બહાર નીકળે છે, સર્ચ અને યુઝર એજન્ટને મંજૂરી આપે છે, અને એક ખાનગી પાથ બધા માટે બંધ રાખે છે:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

બે વિગતો મહત્ત્વની છે. પહેલી, નામવાળું જૂથ *માંથી કંઈ વારસામાં લેતું નથી, તેથી ખાનગી પાથ સર્ચ જૂથમાં ફરીથી લખવા પડે છે. બીજી, Googlebot કે Applebotને ટ્રેનિંગ જૂથમાં ઉમેરશો નહીં: તે સર્ચ ક્રૉલર છે, અને તેમને બ્લૉક કરવાથી તમે Google Search અને Appleની સર્ચ સુવિધાઓમાંથી દૂર થાઓ છો. ફેરફારો તરત લાગુ થતા નથી: સર્ચ માટે OpenAI લગભગ 24 કલાક કહે છે, અને Perplexity 24 કલાક સુધી કહે છે.

કેટલી સાઇટ પહેલેથી આવું કરે છે?

તમે ધારો તેના કરતાં ઓછી. અમે 2026-11-12ના રોજ Tranco યાદીનાં સૌથી લોકપ્રિય 1,000 ડોમેનની robots.txt ફાઇલો વાંચી. robots.txt આપતી 518 સાઇટમાંથી 155 (29.9%) ઓછામાં ઓછા એક AI ટ્રેનિંગ ક્રૉલર માટે હોમ પેજ મનાઈમાં રાખે છે. ફક્ત 57 (11.0%) પસંદગીનો રસ્તો અપનાવે છે: તેઓ ટ્રેનિંગ ક્રૉલર બ્લૉક કરે છે અને અમે ચકાસેલા દરેક AI સર્ચ અને યુઝર ક્રૉલરને મંજૂરી આપે છે. કુલ 101 સાઇટ (19.5%) ઓછામાં ઓછો એક AI સર્ચ કે યુઝર ક્રૉલર બ્લૉક કરે છે.

દરેક ક્રૉલરના આંકડા પણ આ જ ભાગલા બતાવે છે. GPTBot 111 સાઇટ (21.4%) પર અને OAI-SearchBot 58 (11.2%) પર બ્લૉક છે. ClaudeBot 110 (21.2%) પર અને Claude-SearchBot 67 (12.9%) પર બ્લૉક છે. Google-Extended 94 (18.1%) પર, Googlebot 14 (2.7%) પર બ્લૉક છે. ફક્ત 18 સાઇટ (3.5%) Content-Signal વાપરે છે.

આ અભ્યાસ ફક્ત હોમ પેજ માટેના robots.txt નિયમો જુએ છે. તે ફાયરવૉલ બ્લૉક માપતો નથી, અને દરેક સાઇટનો હેતુ શું હતો તે બતાવતો નથી.

Content-Signal શું ઉમેરે છે?

Content Signals એ Cloudflareએ contentsignals.org પર પ્રકાશિત કરેલું robots.txt એક્સટેન્શન છે. Content-Signal લાઇન જણાવે છે કે કન્ટેન્ટનો ઉપયોગ કેવી રીતે થઈ શકે, ત્રણ સિગ્નલ સાથે: search (સર્ચ ઇન્ડેક્સ બનાવવો અને લિંક અને ટૂંકા અંશ બતાવવા), ai-input (કન્ટેન્ટને રિયલ ટાઇમમાં AI મૉડલમાં આપવું, જેમ કે જનરેટિવ જવાબો માટે grounding કે retrieval) અને ai-train (મૉડલની ટ્રેનિંગ કે ફાઇન-ટ્યુનિંગ).

ધ્યાન રાખો કે searchની વ્યાખ્યામાં AIએ બનાવેલા સર્ચ સારાંશ સામેલ નથી. જો તમારે AI જવાબોમાં દેખાવું હોય, તો ઉપરના ઉદાહરણની જેમ ai-input=yes પણ સેટ કરો. Cloudflareની managed robots.txt ડિફૉલ્ટ રૂપે search=yes, ai-train=no ઉમેરે છે; તમે છોડી દીધેલું સિગ્નલ એ ઉપયોગની ન તો છૂટ આપે છે ન તો મર્યાદા મૂકે છે.

આ જણાવેલી પસંદગીઓ છે. Content Signals સાઇટ કહે છે કે તે ટેક્નિકલ સ્તરે ક્રૉલિંગ અટકાવતી નથી, અને Cloudflare નોંધે છે કે robots.txtનું પાલન સ્વૈચ્છિક છે. અમે તપાસેલાં OpenAI, Anthropic, Google કે Perplexityનાં ક્રૉલર પેજમાંથી કોઈ જણાવતું નથી કે તેઓ Content-Signal વાંચે છે કે નહીં, તેથી તેને દરેક ક્રૉલરનાં જૂથોના વિકલ્પ તરીકે નહીં, પણ તેમાં ઉમેરા તરીકે ગણો.

આ વિભાજન ક્યાં બરાબર કામ કરતું નથી?

થોડા કિસ્સાઓમાં કાળજી જરૂરી છે:

આ વિભાજન કામ કરે છે તે કેવી રીતે તપાસવું?

તમારી robots.txtને દરેક ક્રૉલર વાંચે તે રીતે વાંચો: તેનું નામ ધરાવતું જૂથ શોધો, એવું કોઈ ન હોય તો જ * પર જાઓ, અને સૌથી લાંબો મેળ ખાતો નિયમ લાગુ કરો. પછી દરેક સર્ચ ક્રૉલરના યુઝર એજન્ટથી પેજ મંગાવો અને ખાતરી કરો કે તેને 403 કે ચેલેન્જ પેજ નહીં, પણ પૂરા કન્ટેન્ટ સાથે 200 મળે છે.

AISeeWhy 14 ક્રૉલર માટે, ટ્રેનિંગ, સર્ચ અને યુઝર એજન્ટ તરીકે જૂથમાં વહેંચીને, બંને કરે છે અને સૌથી સામાન્ય ભૂલ બતાવે છે: ટ્રેનિંગ બ્લૉક કરવાના ઇરાદે PerplexityBot કે Claude-SearchBot જેવું સર્ચ ટોકન બ્લૉક કરવું.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું GPTBot બ્લૉક કરવાથી મારી સાઇટ ChatGPTના જવાબોમાંથી દૂર થશે?

ના. OpenAI કહે છે કે GPTBot ટ્રેનિંગ માટે છે અને દરેક robots.txt સેટિંગ સ્વતંત્ર છે. ChatGPT સર્ચ OAI-SearchBot વાપરે છે; જ્યાં સુધી તેને મંજૂરી હોય અને તમારું ફાયરવૉલ તેને બ્લૉક ન કરે, ત્યાં સુધી તમારાં પેજ લાયક રહે છે.

શું Google-Extended બ્લૉક કરવાથી હું AI Overviewsમાંથી દૂર થઈશ?

Googleના દસ્તાવેજ મુજબ નહીં. Google કહે છે કે Google-Extended Google Searchમાં સમાવેશને અસર કરતું નથી, અને AI Overviews Search ઇન્ડેક્સ પર આધાર રાખે છે. સાઇટને AI Overviews અને AI Modeમાંથી બાકાત રાખવા Google Search Consoleમાં અલગ નિયંત્રણ આપે છે.

શું એવી એક લાઇન છે જે બધી AI ટ્રેનિંગ બ્લૉક કરે?

કોઈ પ્રમાણભૂત લાઇન નથી. Content-Signal: ai-train=no બધા ક્રૉલર માટે પસંદગી જણાવે છે, પણ ક્રૉલર તેનું પાલન કરે કે નહીં તે સંચાલક પર આધાર રાખે છે. દરેક ટ્રેનિંગ ટોકન માટે નામવાળાં જૂથો દસ્તાવેજમાં જણાવેલી રીત છે.

શું AI ટ્રેનિંગ રોકવા મારે Perplexity બ્લૉક કરવું જોઈએ?

Perplexity કહે છે કે તેના એજન્ટનો ઉપયોગ ટ્રેનિંગ ડેટા ભેગો કરવા થતો નથી. PerplexityBot બ્લૉક કરવાથી ટ્રેનિંગમાંથી બહાર નીકળ્યા વગર Perplexityનાં સર્ચ પરિણામોમાં તમારી દૃશ્યતા ઘટે છે.

સ્રોતો

વધુ લેખો