AI ક્રૉલર માટે robots.txt: શું મંજૂર કરવું, શું બ્લૉક કરવું
તમારા માટે મહત્ત્વના દરેક AI ક્રૉલરને તેનું પોતાનું User-agent જૂથ આપો. ટંકાવું હોય તો OAI-SearchBot, Claude-SearchBot અને PerplexityBot જેવા સર્ચ ક્રૉલરને મંજૂરી આપો, અને GPTBot, ClaudeBot, Google-Extended અને Applebot-Extended જેવા ટ્રેનિંગ ટોકન વિશે અલગથી નક્કી કરો. નામવાળું જૂથ એ ક્રૉલર માટે * જૂથની જગ્યા લે છે.
robots.txt એક સાદી લખાણ ફાઇલ છે જે 1994થી છે અને 2022માં ઔપચારિક ધોરણ, RFC 9309, બની. મોટા ભાગના AI પ્રોવાઇડર કહે છે કે તેમના ક્રૉલર તેનું પાલન કરે છે, અને કેટલાક સર્ચ અને ટ્રેનિંગ માટે અલગ ટોકન પ્રકાશિત કરે છે. તેથી AI નીતિ જણાવવા માટે robots.txt સૌથી સરળ જગ્યા છે, શરત એટલી કે નિયમોનો અર્થ એ જ હોય જે તમે માનો છો.
આ પેજ પર
AI ક્રૉલર કયા robots.txt ટોકન વાપરે છે?
આ પ્રોવાઇડરે દસ્તાવેજમાં જણાવેલા ટોકન છે. RFC 9309 મુજબ મેળવવામાં કેપિટલ-સ્મૉલ અક્ષરનો ફરક પડતો નથી.
- OpenAI:
OAI-SearchBot(ChatGPT સર્ચ),GPTBot(ટ્રેનિંગ),ChatGPT-User(યુઝરે માંગેલી મુલાકાતો; OpenAI કહે છે કે robots.txt લાગુ ન પણ પડે). - Anthropic:
Claude-SearchBot(સર્ચ),ClaudeBot(ટ્રેનિંગ),Claude-User(યુઝરે માંગેલી મુલાકાતો). - Perplexity:
PerplexityBot(સર્ચ),Perplexity-User(યુઝરે માંગેલી મુલાકાતો; Perplexity કહે છે કે તે સામાન્ય રીતે robots.txtને અવગણે છે). - Google:
Googlebot(Search, તેની AI સુવિધાઓ સહિત) અનેGoogle-Extended, પોતાના ક્રૉલર વગરનું ટોકન જે Gemini ટ્રેનિંગ અને groundingમાં ઉપયોગ નિયંત્રિત કરે છે. - Apple:
Applebot(Spotlight, Siri, Safari સર્ચ) અનેApplebot-Extended, જે ક્રૉલ કરતો નથી પણ Appleનાં ફાઉન્ડેશન મૉડલની ટ્રેનિંગ માટેનો ઉપયોગ નિયંત્રિત કરે છે. - Meta:
meta-externalagent(ટ્રેનિંગ અને પ્રોડક્ટ ઇન્ડેક્સિંગ) અનેmeta-webindexer(Meta AI સર્ચ). - Common Crawl:
CCBot, જે Common Crawlનું વેબ ડેટાનું મફત જાહેર આર્કાઇવ બનાવે છે.
AI માટે સારી robots.txt કેવી દેખાય છે?
આ ઉદાહરણ AI સર્ચ અને યુઝર ફેચને અંદર આવવા દે છે, મુખ્ય ટ્રેનિંગ ટોકનમાંથી બહાર નીકળે છે અને એક ખાનગી વિભાગ બધા માટે બંધ રાખે છે:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml સળંગ કેટલીક User-agent લાઇન એક જૂથ બનાવે છે, તેથી તેમની નીચેના નિયમો એ દરેક ક્રૉલરને લાગુ પડે છે. જો તમે ઇચ્છો કે તમારું કન્ટેન્ટ ટ્રેનિંગમાં વપરાય, તો બીજું જૂથ ફક્ત છોડી દો. Google-Extended બ્લૉક કરવાથી Google Searchને અસર થતી નથી: Google કહે છે કે તે Searchમાં સમાવેશને અસર કરતું નથી અને રૅન્કિંગ સિગ્નલ નથી. એ જ રીતે, Apple કહે છે કે Applebot-Extendedને મનાઈ કરતાં પેજ હજી તેનાં સર્ચ પરિણામોમાં દેખાઈ શકે છે.
ક્રૉલર કેવી રીતે પસંદ કરે છે કે કયા નિયમો તેને લાગુ પડે છે?
RFC 9309 આ ચોક્કસ રીતે વ્યાખ્યાયિત કરે છે, અને આ વિગતો મોટા ભાગનાં આશ્ચર્ય સમજાવે છે:
- ક્રૉલર એવું જૂથ શોધે છે જેનો
User-agentતેના પ્રોડક્ટ ટોકન સાથે, કેપિટલ-સ્મૉલ અક્ષરને અવગણીને, મેળ ખાય. જો ઘણાં જૂથ મેળ ખાય, તો તેમના નિયમો એકમાં જોડાય છે. - કોઈ જૂથ મેળ ન ખાય ત્યારે જ ક્રૉલર
User-agent: *જૂથને અનુસરે છે. નામવાળું જૂથ*માંથી કંઈ વારસામાં લેતું નથી. - જૂથની અંદર, સૌથી લાંબા મેળ ખાતા પાથવાળો નિયમ જીતે છે.
/blog/postમાટેAllow: /blog/Disallow: /પર ભારે પડે છે. - જો
AllowઅનેDisallowનિયમ સરખી લંબાઈથી મેળ ખાય, તોAllowવાપરવો જોઈએ. - પાથમાં
*કોઈ પણ અક્ષરો સાથે મેળ ખાય છે અને$અંત નક્કી કરે છે, તેથીDisallow: /*.pdf$દરેક PDFને આવરી લે છે.
robots.txtની સૌથી સામાન્ય ભૂલો કઈ છે?
- નામવાળું જૂથ
*માંથી વારસો લેશે એવી અપેક્ષા. ફક્તAllow: /સાથેનુંOAI-SearchBotમાટેનું જૂથ દરેક પાથ ખોલે છે,*હેઠળ તમે મનાઈ કરેલા પાથ પણ. - HTML પેજ આપતું robots.txt સરનામું, ઘણી વાર સ્ટેટસ 200 સાથે આપેલું 404 પેજ. ક્રૉલરને તેમાં કોઈ માન્ય નિયમ મળતો નથી.
- સર્વર એરર આપતી robots.txt. RFC 9309 કહે છે કે ત્યારે ક્રૉલરે માની લેવું પડે કે આખી સાઇટ મનાઈમાં છે. 404 અલગ છે: તેનો અર્થ છે કોઈ પ્રતિબંધ નથી.
- ટ્રેનિંગ બ્લૉક કરવાના ઇરાદે સર્ચ ટોકન બ્લૉક કરવું, ઉદાહરણ તરીકે મૉડલ ટ્રેનિંગ ટાળવા
PerplexityBotકેClaude-SearchBotને મનાઈ કરવી. - યુઝરે માંગેલા ફેચ રોકવા robots.txt પર આધાર રાખવો. OpenAI અને Perplexity બંને કહે છે કે તેમના યુઝર એજન્ટ તેનું પાલન ન પણ કરે.
- સબડોમેન ભૂલી જવા. દરેક હોસ્ટની પોતાની robots.txt હોય છે; Anthropicના દસ્તાવેજ સાઇટ માલિકોને દરેક સબડોમેન માટે નિયમો ઉમેરવાનું યાદ અપાવે છે.
શું હું allow અને disallow ઉપરાંત AI વપરાશની નીતિ જણાવી શકું?
Cloudflareએ robots.txt માટે ત્રણ સિગ્નલ સાથે Content-Signal લાઇન પ્રસ્તાવિત કરી છે: search (સર્ચ ઇન્ડેક્સ બનાવવો અને લિંક અને ટૂંકા અંશ બતાવવા), ai-input (AI જવાબો માટે રિયલ ટાઇમમાં કન્ટેન્ટ વાપરવું) અને ai-train (મૉડલની ટ્રેનિંગ કે ફાઇન-ટ્યુનિંગ). Cloudflareની managed robots.txt તમારા માટે તે ઉમેરી શકે છે.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txtની દરેક વસ્તુની જેમ, આ પસંદગીઓ છે, ટેક્નિકલ નિયંત્રણો નથી. Cloudflare પોતે નોંધે છે કે robots.txtનું પાલન સ્વૈચ્છિક છે. આ લાઇન વૈકલ્પિક છે અને નુકસાન કરતી નથી, પણ તે ઉપરનાં દરેક ક્રૉલરનાં જૂથોની જગ્યા લેતી નથી.
ફેરફારોમાં કેટલો સમય લાગે છે, અને તેમને કેવી રીતે તપાસવા?
RFC 9309 કહે છે કે ક્રૉલરે કૅશ કરેલી robots.txt 24 કલાકથી વધુ ન વાપરવી જોઈએ, અને OpenAI અને Perplexity બંને કહે છે કે ફેરફારો લાગુ થતાં લગભગ એક દિવસ લાગી શકે છે. એ પણ યાદ રાખો કે robots.txt ઍક્સેસ કંટ્રોલ નથી: તમારા નિયમો મંજૂરી આપે એવા ક્રૉલરને પણ ફાયરવૉલ બ્લૉક કરી શકે છે.
AISeeWhy દરેક ચકાસાતા ક્રૉલર માટે RFC 9309 મુજબ તમારી robots.txt પાર્સ કરે છે, પહોંચી ન શકાતી કે HTML તરીકે અપાતી ફાઇલો બતાવે છે, તમારા નિયમો અને તમારું સર્વર ક્યાં અસંમત છે તે બતાવે છે અને ફેરફાર માટે તૈયાર diff આપે છે.
આ સમસ્યાના સુધારા
- robots.txt GPTBotને મંજૂરી આપે છે, પણ સર્વર તેને બ્લૉક કરે છે
- robots.txt OAI-SearchBotને મનાઈ કરે છે
- robots.txt એક HTML પેજ છે
- robots.txtમાં Content-Signal નથી
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું GPTBot કે ClaudeBot બ્લૉક કરવાથી AI જવાબોમાં મારી દૃશ્યતા ઘટે છે?
સીધી રીતે નહીં. બંને પ્રોવાઇડર સર્ચ માટે અલગ સર્ચ ક્રૉલર, OAI-SearchBot અને Claude-SearchBot, વાપરે છે. ટ્રેનિંગ ક્રૉલર બ્લૉક કરવો એ નીતિની પસંદગી છે.
શું Google-Extended AI Overviews રોકે છે?
ના. Google કહે છે કે Searchની AI સુવિધાઓ Googlebot અને nosnippet અને noindex જેવાં Searchનાં સામાન્ય નિયંત્રણો વાપરે છે. Google-Extended Gemini ટ્રેનિંગ અને Googleનાં બીજાં પ્રોડક્ટમાં groundingને આવરે છે અને Searchને અસર કરતું નથી.
શું AI ક્રૉલર Crawl-delayને સપોર્ટ કરે છે?
તે RFC 9309નો ભાગ નથી. Anthropic કહે છે કે તે બિન-પ્રમાણભૂત એક્સટેન્શન તરીકે Crawl-delayને સપોર્ટ કરે છે; બીજા પ્રોવાઇડર માટે તેમના દસ્તાવેજ જુઓ.
robots.txt ક્યાં હોવી જોઈએ?
દરેક હોસ્ટના રૂટમાં, ઉદાહરણ તરીકે https://example.com/robots.txt. સબફોલ્ડરમાંની ફાઇલ અવગણાય છે, અને દરેક સબડોમેનને પોતાની ફાઇલ જોઈએ.
સ્રોતો
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ક્રૉલરની ઝાંખી
- Google: Google-Extended સહિત સામાન્ય ક્રૉલર
- Apple: Applebot વિશે
- Cloudflare: Managed robots.txt અને Content Signals