AI ટ્રેનિંગ બ્લૉક કરીને AI સર્ચના જવાબોમાં કેવી રીતે રહેવું
મોટા ભાગના AI પ્રોવાઇડર મૉડલ ટ્રેનિંગ અને સર્ચ માટે robots.txtના અલગ ટોકન વાપરે છે. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent અને CCBot જેવા ટ્રેનિંગ ટોકનને મનાઈ કરો, અને OAI-SearchBot, Claude-SearchBot અને PerplexityBot જેવા સર્ચ અને યુઝર ટોકનને મંજૂરી આપો. એ જ પસંદગી શબ્દોમાં જણાવવા Content-Signal લાઇન ઉમેરો.
ઘણા સાઇટ માલિકો એકસાથે બે વસ્તુ ઇચ્છે છે: તેમનું કન્ટેન્ટ AI મૉડલની ટ્રેનિંગમાં ન વપરાય, અને AI આસિસ્ટન્ટ તેમનાં પેજ શોધે, ટાંકે અને લિંક કરે. મોટા પ્રોવાઇડર હવે આ કામ અલગ ક્રૉલર કે ટોકનમાં વહેંચે છે, તેથી robots.txt બંને પસંદગી દર્શાવી શકે છે. મુશ્કેલી એ છે કે નામ દરેક પ્રોવાઇડરમાં અલગ છે, થોડા પ્રોવાઇડર આ પૅટર્નમાં બંધબેસતા નથી, અને એક ખોટી લાઇન તમને ટ્રેનિંગ ડેટાને બદલે AI જવાબોમાંથી દૂર કરી શકે છે.
આ પેજ પર
ટ્રેનિંગ ક્રૉલર અને સર્ચ ક્રૉલર વચ્ચે શું ફરક છે?
ટ્રેનિંગ ક્રૉલર એવાં પેજ ભેગાં કરે છે જેનો ઉપયોગ AI મૉડલ બનાવવા કે સુધારવામાં થઈ શકે. ટ્રેનિંગથી પોતે કોઈ હવાલો કે લિંક મળતી નથી. સર્ચ ક્રૉલર એવો ઇન્ડેક્સ બનાવે છે જેનો ઉપયોગ AI આસિસ્ટન્ટ જવાબ માટે સ્રોતો શોધવામાં કરે છે, અને એ જ સ્રોતો તે ટાંકી શકે છે. યુઝર ટ્રિગર કરે એવો ફેચર કોઈએ પૂછ્યું હોવાથી પેજ લાઇવ ખોલે છે.
પ્રોવાઇડર આ ભૂમિકાઓ અલગ અલગ દસ્તાવેજમાં જણાવે છે અને કહે છે કે સેટિંગ એકબીજાથી સ્વતંત્ર છે. ઉદાહરણ તરીકે, OpenAI કહે છે કે તેના ક્રૉલર માટેનું દરેક robots.txt સેટિંગ બીજાંથી સ્વતંત્ર છે. તેથી ટ્રેનિંગમાંથી બહાર નીકળવાનું બરાબર કરો તો સર્ચમાં તમારી દૃશ્યતા પર અસર થતી નથી.
કયા ટોકન ટ્રેનિંગ અને કયા સર્ચ નિયંત્રિત કરે છે?
પ્રોવાઇડર દસ્તાવેજમાં જણાવે છે તે ટોકન, તેઓ શું નિયંત્રિત કરે છે તે મુજબ જૂથમાં:
- OpenAI:
GPTBotએવું કન્ટેન્ટ ક્રૉલ કરે છે જેનો ઉપયોગ તેનાં ફાઉન્ડેશન મૉડલની ટ્રેનિંગમાં થઈ શકે.OAI-SearchBotChatGPT સર્ચ માટે છે, અનેChatGPT-Userયુઝરની ક્રિયાઓ સંભાળે છે; OpenAI કહે છે કે તેના પર robots.txt લાગુ ન પણ પડે. - Anthropic:
ClaudeBotએવું કન્ટેન્ટ ભેગું કરે છે જે ટ્રેનિંગમાં ફાળો આપી શકે.Claude-SearchBotClaudeનાં સર્ચ પરિણામો સુધારે છે, અનેClaude-Userયુઝર માટે પેજ મેળવે છે. Anthropic કહે છે કે તેના બૉટ robots.txtનું પાલન કરે છે. - Google:
Google-Extendedrobots.txt ટોકન છે, તેનો પોતાનો કોઈ ક્રૉલર નથી. તે ભવિષ્યનાં Gemini મૉડલની ટ્રેનિંગમાં અને Gemini Apps અને Vertex AIમાં grounding માટેના ઉપયોગને નિયંત્રિત કરે છે. Google કહે છે કે તે Google Searchમાં સમાવેશ કે રૅન્કિંગને અસર કરતું નથી, જેGooglebotદ્વારા નિયંત્રિત થાય છે. - Apple:
Applebot-Extendedક્રૉલ કરતો નથી; તે નક્કી કરે છે કેApplebotએ ક્રૉલ કરેલું કન્ટેન્ટ Appleનાં ફાઉન્ડેશન મૉડલની ટ્રેનિંગમાં વપરાય કે નહીં. Apple કહે છે કે તેને મનાઈ કરતાં પેજ હજી તેનાં સર્ચ પરિણામોમાં દેખાઈ શકે છે. - Meta:
meta-externalagentફાઉન્ડેશન મૉડલની ટ્રેનિંગ જેવા ઉપયોગો માટે ક્રૉલ કરે છે, જ્યારેmeta-webindexerMeta AIનાં સર્ચ પરિણામો સુધારે છે. - Common Crawl:
CCBotCommon Crawlનું જાહેર વેબ આર્કાઇવ બનાવે છે. Cloudflareની managed robots.txt તેને મનાઈ કરાયેલા AI ટ્રેનિંગ ક્રૉલરમાં ગણે છે. - Perplexity:
PerplexityBotઅનેPerplexity-Userસર્ચ અને યુઝરની વિનંતીઓ માટે છે. Perplexity કહે છે કે બેમાંથી કોઈનો ઉપયોગ ટ્રેનિંગ ડેટા ભેગો કરવા થતો નથી, તેથી બ્લૉક કરવા જેવું Perplexityનું કોઈ ટ્રેનિંગ ટોકન નથી.
robots.txt કેવી દેખાય છે?
RFC 9309 મુજબ સળંગ કેટલીક User-agent લાઇન એક જૂથ બનાવે છે, તેથી નિયમો એ દરેકને લાગુ પડે છે. આ ફાઇલ ઉપરના ટ્રેનિંગ ટોકનમાંથી બહાર નીકળે છે, સર્ચ અને યુઝર એજન્ટને મંજૂરી આપે છે, અને એક ખાનગી પાથ બધા માટે બંધ રાખે છે:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml બે વિગતો મહત્ત્વની છે. પહેલી, નામવાળું જૂથ *માંથી કંઈ વારસામાં લેતું નથી, તેથી ખાનગી પાથ સર્ચ જૂથમાં ફરીથી લખવા પડે છે. બીજી, Googlebot કે Applebotને ટ્રેનિંગ જૂથમાં ઉમેરશો નહીં: તે સર્ચ ક્રૉલર છે, અને તેમને બ્લૉક કરવાથી તમે Google Search અને Appleની સર્ચ સુવિધાઓમાંથી દૂર થાઓ છો. ફેરફારો તરત લાગુ થતા નથી: સર્ચ માટે OpenAI લગભગ 24 કલાક કહે છે, અને Perplexity 24 કલાક સુધી કહે છે.
કેટલી સાઇટ પહેલેથી આવું કરે છે?
તમે ધારો તેના કરતાં ઓછી. અમે 2026-11-12ના રોજ Tranco યાદીનાં સૌથી લોકપ્રિય 1,000 ડોમેનની robots.txt ફાઇલો વાંચી. robots.txt આપતી 518 સાઇટમાંથી 155 (29.9%) ઓછામાં ઓછા એક AI ટ્રેનિંગ ક્રૉલર માટે હોમ પેજ મનાઈમાં રાખે છે. ફક્ત 57 (11.0%) પસંદગીનો રસ્તો અપનાવે છે: તેઓ ટ્રેનિંગ ક્રૉલર બ્લૉક કરે છે અને અમે ચકાસેલા દરેક AI સર્ચ અને યુઝર ક્રૉલરને મંજૂરી આપે છે. કુલ 101 સાઇટ (19.5%) ઓછામાં ઓછો એક AI સર્ચ કે યુઝર ક્રૉલર બ્લૉક કરે છે.
દરેક ક્રૉલરના આંકડા પણ આ જ ભાગલા બતાવે છે. GPTBot 111 સાઇટ (21.4%) પર અને OAI-SearchBot 58 (11.2%) પર બ્લૉક છે. ClaudeBot 110 (21.2%) પર અને Claude-SearchBot 67 (12.9%) પર બ્લૉક છે. Google-Extended 94 (18.1%) પર, Googlebot 14 (2.7%) પર બ્લૉક છે. ફક્ત 18 સાઇટ (3.5%) Content-Signal વાપરે છે.
આ અભ્યાસ ફક્ત હોમ પેજ માટેના robots.txt નિયમો જુએ છે. તે ફાયરવૉલ બ્લૉક માપતો નથી, અને દરેક સાઇટનો હેતુ શું હતો તે બતાવતો નથી.
Content-Signal શું ઉમેરે છે?
Content Signals એ Cloudflareએ contentsignals.org પર પ્રકાશિત કરેલું robots.txt એક્સટેન્શન છે. Content-Signal લાઇન જણાવે છે કે કન્ટેન્ટનો ઉપયોગ કેવી રીતે થઈ શકે, ત્રણ સિગ્નલ સાથે: search (સર્ચ ઇન્ડેક્સ બનાવવો અને લિંક અને ટૂંકા અંશ બતાવવા), ai-input (કન્ટેન્ટને રિયલ ટાઇમમાં AI મૉડલમાં આપવું, જેમ કે જનરેટિવ જવાબો માટે grounding કે retrieval) અને ai-train (મૉડલની ટ્રેનિંગ કે ફાઇન-ટ્યુનિંગ).
ધ્યાન રાખો કે searchની વ્યાખ્યામાં AIએ બનાવેલા સર્ચ સારાંશ સામેલ નથી. જો તમારે AI જવાબોમાં દેખાવું હોય, તો ઉપરના ઉદાહરણની જેમ ai-input=yes પણ સેટ કરો. Cloudflareની managed robots.txt ડિફૉલ્ટ રૂપે search=yes, ai-train=no ઉમેરે છે; તમે છોડી દીધેલું સિગ્નલ એ ઉપયોગની ન તો છૂટ આપે છે ન તો મર્યાદા મૂકે છે.
આ જણાવેલી પસંદગીઓ છે. Content Signals સાઇટ કહે છે કે તે ટેક્નિકલ સ્તરે ક્રૉલિંગ અટકાવતી નથી, અને Cloudflare નોંધે છે કે robots.txtનું પાલન સ્વૈચ્છિક છે. અમે તપાસેલાં OpenAI, Anthropic, Google કે Perplexityનાં ક્રૉલર પેજમાંથી કોઈ જણાવતું નથી કે તેઓ Content-Signal વાંચે છે કે નહીં, તેથી તેને દરેક ક્રૉલરનાં જૂથોના વિકલ્પ તરીકે નહીં, પણ તેમાં ઉમેરા તરીકે ગણો.
આ વિભાજન ક્યાં બરાબર કામ કરતું નથી?
થોડા કિસ્સાઓમાં કાળજી જરૂરી છે:
- Google AI Overviews અને AI Mode
Googlebotએ બનાવેલા Search ઇન્ડેક્સ પર આધાર રાખે છે, તેથીGoogle-Extendedતમને તેમાંથી દૂર કરતું નથી. Google Search Console મદદ ઉમેરે છે કેGoogle-ExtendedSearchની જનરેટિવ AI સુવિધાઓ પાછળનાં મૉડલની ટ્રેનિંગ મર્યાદિત કરે છે, જેનો ઉલ્લેખ તેના ક્રૉલર દસ્તાવેજમાં નથી. Google હવે સાઇટને AI Overviews અને AI Modeમાંથી બાકાત રાખવા માટે Search Consoleમાં અલગ સેટિંગ આપે છે. - OpenAI કહે છે કે જો સાઇટ
GPTBotઅનેOAI-SearchBotબંનેને મંજૂરી આપે, તો તે એક ક્રૉલનાં પરિણામો બંને હેતુ માટે વાપરી શકે છે. કન્ટેન્ટ ટ્રેનિંગમાં ન વપરાવું જોઈએ તેનો સંકેતGPTBotને મનાઈ કરવાથી જ મળે છે. - બહાર નીકળવાની પસંદગી ભવિષ્ય માટે લાગુ પડે છે. ઉદાહરણ તરીકે, Anthropic
ClaudeBotને મનાઈ કરવાનું વર્ણન તમારી સાઇટના ભવિષ્યના કન્ટેન્ટને ટ્રેનિંગ ડેટાસેટમાંથી બાકાત રાખવા તરીકે કરે છે. - યુઝર ટ્રિગર કરે એવા ફેચર વચ્ચે આવે છે. OpenAI અને Perplexity કહે છે કે
ChatGPT-Userપર robots.txt લાગુ ન પણ પડે અનેPerplexity-Userપર સામાન્ય રીતે લાગુ પડતી નથી. - ફાયરવૉલ robots.txt વાંચતાં નથી. બૉટ બ્લૉક કરતો વ્યાપક નિયમ તમે મંજૂરી આપેલા સર્ચ ક્રૉલરને રોકી શકે છે. જો તમે ટ્રેનિંગ બ્લૉક ફાયરવૉલ પર લાગુ કરો, તો ટ્રેનિંગ એજન્ટને નામથી મેળવો અને તેમની પ્રકાશિત IP રેન્જથી ચકાસો.
આ વિભાજન કામ કરે છે તે કેવી રીતે તપાસવું?
તમારી robots.txtને દરેક ક્રૉલર વાંચે તે રીતે વાંચો: તેનું નામ ધરાવતું જૂથ શોધો, એવું કોઈ ન હોય તો જ * પર જાઓ, અને સૌથી લાંબો મેળ ખાતો નિયમ લાગુ કરો. પછી દરેક સર્ચ ક્રૉલરના યુઝર એજન્ટથી પેજ મંગાવો અને ખાતરી કરો કે તેને 403 કે ચેલેન્જ પેજ નહીં, પણ પૂરા કન્ટેન્ટ સાથે 200 મળે છે.
AISeeWhy 14 ક્રૉલર માટે, ટ્રેનિંગ, સર્ચ અને યુઝર એજન્ટ તરીકે જૂથમાં વહેંચીને, બંને કરે છે અને સૌથી સામાન્ય ભૂલ બતાવે છે: ટ્રેનિંગ બ્લૉક કરવાના ઇરાદે PerplexityBot કે Claude-SearchBot જેવું સર્ચ ટોકન બ્લૉક કરવું.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું GPTBot બ્લૉક કરવાથી મારી સાઇટ ChatGPTના જવાબોમાંથી દૂર થશે?
ના. OpenAI કહે છે કે GPTBot ટ્રેનિંગ માટે છે અને દરેક robots.txt સેટિંગ સ્વતંત્ર છે. ChatGPT સર્ચ OAI-SearchBot વાપરે છે; જ્યાં સુધી તેને મંજૂરી હોય અને તમારું ફાયરવૉલ તેને બ્લૉક ન કરે, ત્યાં સુધી તમારાં પેજ લાયક રહે છે.
શું Google-Extended બ્લૉક કરવાથી હું AI Overviewsમાંથી દૂર થઈશ?
Googleના દસ્તાવેજ મુજબ નહીં. Google કહે છે કે Google-Extended Google Searchમાં સમાવેશને અસર કરતું નથી, અને AI Overviews Search ઇન્ડેક્સ પર આધાર રાખે છે. સાઇટને AI Overviews અને AI Modeમાંથી બાકાત રાખવા Google Search Consoleમાં અલગ નિયંત્રણ આપે છે.
શું એવી એક લાઇન છે જે બધી AI ટ્રેનિંગ બ્લૉક કરે?
કોઈ પ્રમાણભૂત લાઇન નથી. Content-Signal: ai-train=no બધા ક્રૉલર માટે પસંદગી જણાવે છે, પણ ક્રૉલર તેનું પાલન કરે કે નહીં તે સંચાલક પર આધાર રાખે છે. દરેક ટ્રેનિંગ ટોકન માટે નામવાળાં જૂથો દસ્તાવેજમાં જણાવેલી રીત છે.
શું AI ટ્રેનિંગ રોકવા મારે Perplexity બ્લૉક કરવું જોઈએ?
Perplexity કહે છે કે તેના એજન્ટનો ઉપયોગ ટ્રેનિંગ ડેટા ભેગો કરવા થતો નથી. PerplexityBot બ્લૉક કરવાથી ટ્રેનિંગમાંથી બહાર નીકળ્યા વગર Perplexityનાં સર્ચ પરિણામોમાં તમારી દૃશ્યતા ઘટે છે.
સ્રોતો
- OpenAI: OpenAI ક્રૉલરની ઝાંખી
- Anthropic: શું Anthropic વેબ પરથી ડેટા ક્રૉલ કરે છે, અને સાઇટ માલિકો ક્રૉલરને કેવી રીતે બ્લૉક કરી શકે?
- Google: Google-Extended સહિત સામાન્ય ક્રૉલર
- Google Search Console મદદ: Searchની જનરેટિવ AI માટેનું નિયંત્રણ
- Apple: Applebot વિશે
- Meta: Meta વેબ ક્રૉલર
- Common Crawl: CCBot
- Perplexity: Perplexity ક્રૉલર
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt અને Content Signals
- AISeeWhy: AI ક્રૉલર ઍક્સેસ રિપોર્ટ, 2026-11