CCBot
വെബ് ക്രോൾ ഡാറ്റയുടെ സൗജന്യവും തുറന്നതുമായ ശേഖരം പരിപാലിക്കുന്ന ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനമായ Common Crawl-ന്റെ ക്രോളറാണ് CCBot. ഗവേഷകരും AI ഡെവലപ്പർമാരും ഈ ആർക്കൈവ് വ്യാപകമായി ഉപയോഗിക്കുന്നു, അതിനാൽ CCBot-നെ തടയുന്നത് പ്രധാനമായും പരിശീലനവുമായി ബന്ധപ്പെട്ട തീരുമാനമാണ്. ഇത് ഒരു സെർച്ച് എഞ്ചിനെയോ AI സെർച്ച് ഉൽപ്പന്നത്തെയോ നേരിട്ട് ബാധിക്കില്ല.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: CCBot
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: CCBot
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
ആർക്കും സൗജന്യമായി ലഭ്യമായ, വെബ് ക്രോൾ ഡാറ്റയുടെ തുറന്ന ശേഖരം നിർമ്മിക്കുകയും പരിപാലിക്കുകയും ചെയ്യുന്ന ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനമാണ് Common Crawl. CCBot ആ ഡാറ്റ ശേഖരിക്കുന്നു. ഒരു പേജ് എടുക്കുന്നതിന് മുമ്പ് robots.txt പരിശോധിക്കുന്നുവെന്നും Crawl-delay പാലിക്കുന്നുവെന്നും JavaScript പ്രവർത്തിപ്പിക്കുന്നില്ലെന്നും Common Crawl പറയുന്നു.
ഇതിനെ തടയാൻ, Disallow: / ഉള്ള CCBot ടോക്കണിനായുള്ള robots.txt ഗ്രൂപ്പ് Common Crawl രേഖപ്പെടുത്തുന്നു. പകരം വേഗം കുറയ്ക്കാൻ, അതേ ഗ്രൂപ്പിൽ ഒരു Crawl-delay വരി ചേർക്കാൻ നിർദ്ദേശിക്കുന്നു.
ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 24.1% ഇതിനെ തടഞ്ഞിരുന്നു. →
robots.txt ടോക്കൺ
CCBot
യൂസർ-ഏജന്റ് സ്ട്രിംഗ്
CCBot/2.0 (https://commoncrawl.org/faq/) യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
റിവേഴ്സ് DNS ഉള്ള പ്രത്യേക IP ശ്രേണികളിലാണ് Common Crawl CCBot പ്രവർത്തിപ്പിക്കുന്നത്, അതിനാൽ ലോഗിലുള്ള ഒരു അഭ്യർത്ഥന യഥാർത്ഥ CCBot-ൽ നിന്നാണോ എന്ന് പരിശോധിക്കാം. IPv4, IPv6 ശ്രേണികൾ JSON ആയി പ്രസിദ്ധീകരിക്കുന്ന Common Crawl, മറ്റ് ക്രോളറുകൾ CCBot ആണെന്ന് തെറ്റായി സ്വയം പരിചയപ്പെടുത്തുന്നുണ്ടെന്ന് മുന്നറിയിപ്പ് നൽകുന്നു.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →
AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം →