AI ક્રૉલર માટે robots.txt: શું મંજૂર કરવું, શું બ્લૉક કરવું

પ્રકાશિત

ટૂંકો જવાબ

તમારા માટે મહત્ત્વના દરેક AI ક્રૉલરને તેનું પોતાનું User-agent જૂથ આપો. ટંકાવું હોય તો OAI-SearchBot, Claude-SearchBot અને PerplexityBot જેવા સર્ચ ક્રૉલરને મંજૂરી આપો, અને GPTBot, ClaudeBot, Google-Extended અને Applebot-Extended જેવા ટ્રેનિંગ ટોકન વિશે અલગથી નક્કી કરો. નામવાળું જૂથ એ ક્રૉલર માટે * જૂથની જગ્યા લે છે.

robots.txt એક સાદી લખાણ ફાઇલ છે જે 1994થી છે અને 2022માં ઔપચારિક ધોરણ, RFC 9309, બની. મોટા ભાગના AI પ્રોવાઇડર કહે છે કે તેમના ક્રૉલર તેનું પાલન કરે છે, અને કેટલાક સર્ચ અને ટ્રેનિંગ માટે અલગ ટોકન પ્રકાશિત કરે છે. તેથી AI નીતિ જણાવવા માટે robots.txt સૌથી સરળ જગ્યા છે, શરત એટલી કે નિયમોનો અર્થ એ જ હોય જે તમે માનો છો.

આ પેજ પર
  1. AI ક્રૉલર કયા robots.txt ટોકન વાપરે છે?
  2. AI માટે સારી robots.txt કેવી દેખાય છે?
  3. ક્રૉલર કેવી રીતે પસંદ કરે છે કે કયા નિયમો તેને લાગુ પડે છે?
  4. robots.txtની સૌથી સામાન્ય ભૂલો કઈ છે?
  5. શું હું allow અને disallow ઉપરાંત AI વપરાશની નીતિ જણાવી શકું?
  6. ફેરફારોમાં કેટલો સમય લાગે છે, અને તેમને કેવી રીતે તપાસવા?

AI ક્રૉલર કયા robots.txt ટોકન વાપરે છે?

આ પ્રોવાઇડરે દસ્તાવેજમાં જણાવેલા ટોકન છે. RFC 9309 મુજબ મેળવવામાં કેપિટલ-સ્મૉલ અક્ષરનો ફરક પડતો નથી.

AI માટે સારી robots.txt કેવી દેખાય છે?

આ ઉદાહરણ AI સર્ચ અને યુઝર ફેચને અંદર આવવા દે છે, મુખ્ય ટ્રેનિંગ ટોકનમાંથી બહાર નીકળે છે અને એક ખાનગી વિભાગ બધા માટે બંધ રાખે છે:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

સળંગ કેટલીક User-agent લાઇન એક જૂથ બનાવે છે, તેથી તેમની નીચેના નિયમો એ દરેક ક્રૉલરને લાગુ પડે છે. જો તમે ઇચ્છો કે તમારું કન્ટેન્ટ ટ્રેનિંગમાં વપરાય, તો બીજું જૂથ ફક્ત છોડી દો. Google-Extended બ્લૉક કરવાથી Google Searchને અસર થતી નથી: Google કહે છે કે તે Searchમાં સમાવેશને અસર કરતું નથી અને રૅન્કિંગ સિગ્નલ નથી. એ જ રીતે, Apple કહે છે કે Applebot-Extendedને મનાઈ કરતાં પેજ હજી તેનાં સર્ચ પરિણામોમાં દેખાઈ શકે છે.

ક્રૉલર કેવી રીતે પસંદ કરે છે કે કયા નિયમો તેને લાગુ પડે છે?

RFC 9309 આ ચોક્કસ રીતે વ્યાખ્યાયિત કરે છે, અને આ વિગતો મોટા ભાગનાં આશ્ચર્ય સમજાવે છે:

robots.txtની સૌથી સામાન્ય ભૂલો કઈ છે?

શું હું allow અને disallow ઉપરાંત AI વપરાશની નીતિ જણાવી શકું?

Cloudflareએ robots.txt માટે ત્રણ સિગ્નલ સાથે Content-Signal લાઇન પ્રસ્તાવિત કરી છે: search (સર્ચ ઇન્ડેક્સ બનાવવો અને લિંક અને ટૂંકા અંશ બતાવવા), ai-input (AI જવાબો માટે રિયલ ટાઇમમાં કન્ટેન્ટ વાપરવું) અને ai-train (મૉડલની ટ્રેનિંગ કે ફાઇન-ટ્યુનિંગ). Cloudflareની managed robots.txt તમારા માટે તે ઉમેરી શકે છે.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txtની દરેક વસ્તુની જેમ, આ પસંદગીઓ છે, ટેક્નિકલ નિયંત્રણો નથી. Cloudflare પોતે નોંધે છે કે robots.txtનું પાલન સ્વૈચ્છિક છે. આ લાઇન વૈકલ્પિક છે અને નુકસાન કરતી નથી, પણ તે ઉપરનાં દરેક ક્રૉલરનાં જૂથોની જગ્યા લેતી નથી.

ફેરફારોમાં કેટલો સમય લાગે છે, અને તેમને કેવી રીતે તપાસવા?

RFC 9309 કહે છે કે ક્રૉલરે કૅશ કરેલી robots.txt 24 કલાકથી વધુ ન વાપરવી જોઈએ, અને OpenAI અને Perplexity બંને કહે છે કે ફેરફારો લાગુ થતાં લગભગ એક દિવસ લાગી શકે છે. એ પણ યાદ રાખો કે robots.txt ઍક્સેસ કંટ્રોલ નથી: તમારા નિયમો મંજૂરી આપે એવા ક્રૉલરને પણ ફાયરવૉલ બ્લૉક કરી શકે છે.

AISeeWhy દરેક ચકાસાતા ક્રૉલર માટે RFC 9309 મુજબ તમારી robots.txt પાર્સ કરે છે, પહોંચી ન શકાતી કે HTML તરીકે અપાતી ફાઇલો બતાવે છે, તમારા નિયમો અને તમારું સર્વર ક્યાં અસંમત છે તે બતાવે છે અને ફેરફાર માટે તૈયાર diff આપે છે.

આ સમસ્યાના સુધારા

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું GPTBot કે ClaudeBot બ્લૉક કરવાથી AI જવાબોમાં મારી દૃશ્યતા ઘટે છે?

સીધી રીતે નહીં. બંને પ્રોવાઇડર સર્ચ માટે અલગ સર્ચ ક્રૉલર, OAI-SearchBot અને Claude-SearchBot, વાપરે છે. ટ્રેનિંગ ક્રૉલર બ્લૉક કરવો એ નીતિની પસંદગી છે.

શું Google-Extended AI Overviews રોકે છે?

ના. Google કહે છે કે Searchની AI સુવિધાઓ Googlebot અને nosnippet અને noindex જેવાં Searchનાં સામાન્ય નિયંત્રણો વાપરે છે. Google-Extended Gemini ટ્રેનિંગ અને Googleનાં બીજાં પ્રોડક્ટમાં groundingને આવરે છે અને Searchને અસર કરતું નથી.

શું AI ક્રૉલર Crawl-delayને સપોર્ટ કરે છે?

તે RFC 9309નો ભાગ નથી. Anthropic કહે છે કે તે બિન-પ્રમાણભૂત એક્સટેન્શન તરીકે Crawl-delayને સપોર્ટ કરે છે; બીજા પ્રોવાઇડર માટે તેમના દસ્તાવેજ જુઓ.

robots.txt ક્યાં હોવી જોઈએ?

દરેક હોસ્ટના રૂટમાં, ઉદાહરણ તરીકે https://example.com/robots.txt. સબફોલ્ડરમાંની ફાઇલ અવગણાય છે, અને દરેક સબડોમેનને પોતાની ફાઇલ જોઈએ.

સ્રોતો

વધુ લેખો