AI ക്രോളറുകൾക്കുള്ള robots.txt ജനറേറ്റർ

ഏതൊക്കെ AI ക്രോളറുകൾക്ക് നിങ്ങളുടെ സൈറ്റ് വായിക്കാമെന്ന് തിരഞ്ഞെടുത്ത് സൃഷ്ടിച്ച robots.txt പകർത്തുക. GPTBot, ClaudeBot പോലുള്ള AI പരിശീലന ക്രോളറുകളെ തടയുകയും OAI-SearchBot, PerplexityBot പോലുള്ള AI സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുകയും ചെയ്യുന്നതാണ് സാധാരണ തിരഞ്ഞെടുപ്പ്; അങ്ങനെ നിങ്ങളുടെ പേജുകൾ AI ഉത്തരങ്ങളിൽ തുടർന്നും പ്രത്യക്ഷപ്പെടുകയും ഉദ്ധരിക്കപ്പെടുകയും ചെയ്യും.

ഇതിൽ നിന്ന് തുടങ്ങുക
AI പരിശീലനം
AI സെർച്ച്
ഉപയോക്താവ് ആവശ്യപ്പെട്ട ഫെച്ച്
Content-Signal (ഓപ്ഷണൽ): നിങ്ങൾ അനുവദിക്കുന്നവ ടിക്ക് ചെയ്യുക

ഉപയോക്താവ് ആവശ്യപ്പെട്ട ഫെച്ചറുകളെ തടയുന്നതിന് പരിമിതമായ ഫലമേയുള്ളൂ: ഒരാൾ പേജ് ആവശ്യപ്പെട്ടതിനാൽ ഈ ഏജന്റുകൾ robots.txt പാലിച്ചേക്കില്ലെന്ന് ചില വെണ്ടർമാർ പറയുന്നു. പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ് robots.txt ചെക്കർ ഉപയോഗിച്ച് ഫലം പരിശോധിക്കുക. AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും →

ഇത് എങ്ങനെ ഉപയോഗിക്കാം

ഫയൽ നിങ്ങളുടെ ഡൊമെയ്‌നിന്റെ റൂട്ടിൽ വയ്ക്കുക (https://example.com/robots.txt). മറ്റ് ക്രോളറുകൾക്കുള്ള നിയമങ്ങൾ ഇതിനകം ഉണ്ടെങ്കിൽ അവ നിലനിർത്തി AI ഗ്രൂപ്പുകൾ മാത്രം ചേർക്കുക. ഓരോ ക്രോളറും അടുത്ത തവണ ഫയൽ വായിക്കുമ്പോൾ മാറ്റങ്ങൾ പ്രാബല്യത്തിൽ വരും, സാധാരണയായി ഒരു ദിവസത്തിനുള്ളിൽ.

പൂർണ്ണ പരിശോധന നടത്തുക →

ഗൈഡ്

robots.txt ജനറേറ്റർ എങ്ങനെ ഉപയോഗിക്കാം

ഈ വാചകം ഇംഗ്ലീഷിൽ നിന്ന് യന്ത്രം ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്.

ജനറേറ്റർ എന്താണ് എഴുതുന്നത്

നിങ്ങളുടെ സൈറ്റ് വായിക്കാവുന്ന ക്രോളറുകൾ ടിക്ക് ചെയ്യുക, തടയേണ്ടവ അൺടിക്ക് ചെയ്യുക. ജനറേറ്റർ തടഞ്ഞ ഓരോ ക്രോളറിനും ഒരു ഗ്രൂപ്പ്, User-agent: <token> ശേഷം Disallow: /, പിന്നെ മറ്റെല്ലാം അനുവദിക്കുന്ന ഒരു അവസാന User-agent: * ഗ്രൂപ്പ് എന്നിവയോടെ robots.txt എഴുതുന്നു. ഒരു സൈറ്റ്‌മാപ്പ് വിലാസം ചേർത്താൽ അത് ഒരു Sitemap വരി ചേർക്കുന്നു. Content-Signal ഓപ്ഷനുകൾ ടിക്ക് ചെയ്താൽ, നിങ്ങളുടെ ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് പറയുന്ന ഒരു Content-Signal വരി ചേർക്കുന്നു.

നിങ്ങളുടെ ബ്രൗസറിൽ നിന്ന് ഒന്നും പുറത്തുപോകുന്നില്ല: നിങ്ങൾ ക്ലിക്ക് ചെയ്യുമ്പോൾ തന്നെ ഫയൽ പേജിൽ നിർമ്മിക്കപ്പെടുന്നു, ഔട്ട്‌പുട്ട് ബോക്സിൽ നിന്ന് നിങ്ങൾ അത് പകർത്തുന്നു.

ഏത് പ്രീസെറ്റിൽ നിന്ന് തുടങ്ങണം

ഒരു ഉദാഹരണം: ട്രെയിനിംഗ് തടയുക, AI സെർച്ച് അനുവദിക്കുക

തടഞ്ഞ ഓരോ ക്രോളറിനും സ്വന്തം ഗ്രൂപ്പുണ്ട്, അതിനാൽ അതിന്റെ Disallow: / അതിന് മാത്രം ബാധകമാണ്. OAI-SearchBot, Googlebot ഉൾപ്പെടെ മറ്റെല്ലാ ക്രോളറുകളും User-agent: *-ലേക്ക് എത്തുകയും എല്ലാം വായിക്കുകയും ചെയ്യാം. Content-Signal വരി അത് വായിക്കുന്ന ക്രോളറുകൾക്കായി അതേ ഉദ്ദേശ്യം ആവർത്തിക്കുന്നു: സെർച്ചും തത്സമയ ഉത്തരങ്ങളും അതെ, ട്രെയിനിംഗ് ഇല്ല.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ്

സാധാരണ തെറ്റുകൾ

പതിവ് ചോദ്യങ്ങൾ

GPTBot തടഞ്ഞാൽ എന്റെ സൈറ്റ് ChatGPT-യിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടുമോ?

ഇല്ല. GPTBot ട്രെയിനിംഗ് ഡാറ്റ ശേഖരിക്കുന്നു. ChatGPT സെർച്ച് OAI-SearchBot ഉപയോഗിക്കുന്നു, ChatGPT-User ആളുകൾ ആവശ്യപ്പെടുന്ന പേജുകൾ തുറക്കുന്നു. ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ അവ അനുവദിച്ചുതന്നെ വയ്ക്കുക.

Content-Signal എന്താണ്?

നിങ്ങളുടെ ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് പറയുന്ന robots.txt-ലെ ഒരു വരി: search, ai-input (തത്സമയ ഉത്തരങ്ങൾ), ai-train (ട്രെയിനിംഗ്), ഓരോന്നും yes അല്ലെങ്കിൽ no. പിന്തുണ കമ്പനി അനുസരിച്ച് വ്യത്യാസപ്പെടുന്നു; ക്രോളറുകൾ പാലിക്കുന്ന നിയമം ക്രോളർ-നിർദ്ദിഷ്ട ഗ്രൂപ്പുകൾ തന്നെയാണ്.

Google-Extended, Google Search-നെ ബാധിക്കുമോ?

ഇല്ല. ഇത് robots.txt-ൽ മാത്രമുള്ള ഒരു ടോക്കണാണ്, Google-ന് നിങ്ങളുടെ പേജുകൾ അതിന്റെ AI മോഡലുകൾക്ക് ഉപയോഗിക്കാമോ എന്ന് നിയന്ത്രിക്കുന്നു; Google Search-ലെ ക്രോളിംഗോ റാങ്കിംഗോ മാറ്റുന്നില്ല.

എന്റെ തിരഞ്ഞെടുപ്പ് എവിടേക്കെങ്കിലും അയയ്ക്കുന്നുണ്ടോ?

ഇല്ല. ജനറേറ്റർ നിങ്ങളുടെ ബ്രൗസറിൽ പ്രവർത്തിക്കുന്നു, ഫയൽ പരീക്ഷിക്കാൻ നിങ്ങൾ തിരഞ്ഞെടുക്കുന്നത് വരെ ഞങ്ങളുടെ സെർവറിലേക്ക് ഒന്നും അയയ്ക്കുന്നില്ല.

ബന്ധപ്പെട്ട ടൂളുകളും ഗൈഡുകളും