CCBot

Common Crawl · AI പരിശീലനം

വെബ് ക്രോൾ ഡാറ്റയുടെ സൗജന്യവും തുറന്നതുമായ ശേഖരം പരിപാലിക്കുന്ന ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനമായ Common Crawl-ന്റെ ക്രോളറാണ് CCBot. ഗവേഷകരും AI ഡെവലപ്പർമാരും ഈ ആർക്കൈവ് വ്യാപകമായി ഉപയോഗിക്കുന്നു, അതിനാൽ CCBot-നെ തടയുന്നത് പ്രധാനമായും പരിശീലനവുമായി ബന്ധപ്പെട്ട തീരുമാനമാണ്. ഇത് ഒരു സെർച്ച് എഞ്ചിനെയോ AI സെർച്ച് ഉൽപ്പന്നത്തെയോ നേരിട്ട് ബാധിക്കില്ല.

ഇതിനെ എങ്ങനെ അനുവദിക്കാം

User-agent: CCBot
Allow: /

ഇതിനെ എങ്ങനെ തടയാം

User-agent: CCBot
Disallow: /

ഇത് എന്തു ചെയ്യുന്നു

ആർക്കും സൗജന്യമായി ലഭ്യമായ, വെബ് ക്രോൾ ഡാറ്റയുടെ തുറന്ന ശേഖരം നിർമ്മിക്കുകയും പരിപാലിക്കുകയും ചെയ്യുന്ന ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനമാണ് Common Crawl. CCBot ആ ഡാറ്റ ശേഖരിക്കുന്നു. ഒരു പേജ് എടുക്കുന്നതിന് മുമ്പ് robots.txt പരിശോധിക്കുന്നുവെന്നും Crawl-delay പാലിക്കുന്നുവെന്നും JavaScript പ്രവർത്തിപ്പിക്കുന്നില്ലെന്നും Common Crawl പറയുന്നു.

ഇതിനെ തടയാൻ, Disallow: / ഉള്ള CCBot ടോക്കണിനായുള്ള robots.txt ഗ്രൂപ്പ് Common Crawl രേഖപ്പെടുത്തുന്നു. പകരം വേഗം കുറയ്ക്കാൻ, അതേ ഗ്രൂപ്പിൽ ഒരു Crawl-delay വരി ചേർക്കാൻ നിർദ്ദേശിക്കുന്നു.

ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 24.1% ഇതിനെ തടഞ്ഞിരുന്നു. →

robots.txt ടോക്കൺ

CCBot

യൂസർ-ഏജന്റ് സ്ട്രിംഗ്

CCBot/2.0 (https://commoncrawl.org/faq/)

യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം

റിവേഴ്സ് DNS ഉള്ള പ്രത്യേക IP ശ്രേണികളിലാണ് Common Crawl CCBot പ്രവർത്തിപ്പിക്കുന്നത്, അതിനാൽ ലോഗിലുള്ള ഒരു അഭ്യർത്ഥന യഥാർത്ഥ CCBot-ൽ നിന്നാണോ എന്ന് പരിശോധിക്കാം. IPv4, IPv6 ശ്രേണികൾ JSON ആയി പ്രസിദ്ധീകരിക്കുന്ന Common Crawl, മറ്റ് ക്രോളറുകൾ CCBot ആണെന്ന് തെറ്റായി സ്വയം പരിചയപ്പെടുത്തുന്നുണ്ടെന്ന് മുന്നറിയിപ്പ് നൽകുന്നു.

നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →

AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം →