AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt: ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, ਕਿਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ
ਜਿਸ ਵੀ AI ਕ੍ਰੌਲਰ ਦੀ ਤੁਹਾਨੂੰ ਪਰਵਾਹ ਹੈ, ਉਸਨੂੰ ਉਸਦਾ ਆਪਣਾ User-agent ਗਰੁੱਪ ਦਿਓ। ਜੇ ਤੁਸੀਂ ਹਵਾਲਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ OAI-SearchBot, Claude-SearchBot ਅਤੇ PerplexityBot ਵਰਗੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ, ਅਤੇ GPTBot, ClaudeBot, Google-Extended ਅਤੇ Applebot-Extended ਵਰਗੇ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਬਾਰੇ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰੋ। ਨਾਂ ਵਾਲਾ ਗਰੁੱਪ ਉਸ ਕ੍ਰੌਲਰ ਲਈ * ਗਰੁੱਪ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ।
robots.txt ਇੱਕ ਸਾਦੀ ਟੈਕਸਟ ਫ਼ਾਈਲ ਹੈ ਜੋ 1994 ਤੋਂ ਚੱਲੀ ਆ ਰਹੀ ਹੈ ਅਤੇ 2022 ਵਿੱਚ ਰਸਮੀ ਮਿਆਰ RFC 9309 ਬਣੀ। ਜ਼ਿਆਦਾਤਰ AI ਵੈਂਡਰ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਕ੍ਰੌਲਰ ਇਸਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਕਈ ਸਰਚ ਅਤੇ ਸਿਖਲਾਈ ਲਈ ਵੱਖਰੇ ਟੋਕਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ। ਇਸ ਕਰਕੇ robots.txt ਆਪਣੀ AI ਨੀਤੀ ਦੱਸਣ ਦੀ ਸਭ ਤੋਂ ਸੌਖੀ ਥਾਂ ਹੈ, ਬਸ਼ਰਤੇ ਨਿਯਮਾਂ ਦਾ ਮਤਲਬ ਉਹੀ ਹੋਵੇ ਜੋ ਤੁਸੀਂ ਸਮਝਦੇ ਹੋ।
ਇਸ ਪੰਨੇ 'ਤੇ
- AI ਕ੍ਰੌਲਰ robots.txt ਦੇ ਕਿਹੜੇ ਟੋਕਨ ਵਰਤਦੇ ਹਨ?
- ਚੰਗਾ AI robots.txt ਕਿਹੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ?
- ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਚੁਣਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ 'ਤੇ ਕਿਹੜੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦੇ ਹਨ?
- robots.txt ਦੀਆਂ ਸਭ ਤੋਂ ਆਮ ਗ਼ਲਤੀਆਂ ਕਿਹੜੀਆਂ ਹਨ?
- ਕੀ ਮੈਂ ਇਜਾਜ਼ਤ ਅਤੇ ਰੋਕ ਤੋਂ ਅੱਗੇ AI ਵਰਤੋਂ ਦੀ ਨੀਤੀ ਦੱਸ ਸਕਦਾ ਹਾਂ?
- ਤਬਦੀਲੀਆਂ ਵਿੱਚ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਜਾਂਚਾਂ?
AI ਕ੍ਰੌਲਰ robots.txt ਦੇ ਕਿਹੜੇ ਟੋਕਨ ਵਰਤਦੇ ਹਨ?
ਇਹ ਉਹ ਟੋਕਨ ਹਨ ਜੋ ਵੈਂਡਰ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਦੱਸਦੇ ਹਨ। RFC 9309 ਮੁਤਾਬਕ ਮੇਲ ਕਰਨ ਵੇਲੇ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ।
- OpenAI:
OAI-SearchBot(ChatGPT ਸਰਚ),GPTBot(ਸਿਖਲਾਈ),ChatGPT-User(ਯੂਜ਼ਰ ਦੀ ਮੰਗ 'ਤੇ ਵਿਜ਼ਿਟ; OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ)। - Anthropic:
Claude-SearchBot(ਸਰਚ),ClaudeBot(ਸਿਖਲਾਈ),Claude-User(ਯੂਜ਼ਰ ਦੀ ਮੰਗ 'ਤੇ ਵਿਜ਼ਿਟ)। - Perplexity:
PerplexityBot(ਸਰਚ),Perplexity-User(ਯੂਜ਼ਰ ਦੀ ਮੰਗ 'ਤੇ ਵਿਜ਼ਿਟ; Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ)। - Google:
Googlebot(ਸਰਚ, ਇਸਦੇ AI ਫੀਚਰਾਂ ਸਮੇਤ) ਅਤੇGoogle-Extended, ਅਜਿਹਾ ਟੋਕਨ ਜਿਸਦਾ ਆਪਣਾ ਕੋਈ ਕ੍ਰੌਲਰ ਨਹੀਂ ਅਤੇ ਜੋ Gemini ਦੀ ਸਿਖਲਾਈ ਅਤੇ grounding ਵਿੱਚ ਵਰਤੋਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ। - Apple:
Applebot(Spotlight, Siri, Safari ਸਰਚ) ਅਤੇApplebot-Extended, ਜੋ ਕ੍ਰੌਲ ਨਹੀਂ ਕਰਦਾ ਪਰ Apple ਦੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੋਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ। - Meta:
meta-externalagent(ਸਿਖਲਾਈ ਅਤੇ ਉਤਪਾਦ ਇੰਡੈਕਸਿੰਗ) ਅਤੇmeta-webindexer(Meta AI ਸਰਚ)। - Common Crawl:
CCBot, ਜੋ Common Crawl ਦਾ ਵੈੱਬ ਡਾਟੇ ਦਾ ਮੁਫ਼ਤ ਜਨਤਕ ਆਰਕਾਈਵ ਬਣਾਉਂਦਾ ਹੈ।
ਚੰਗਾ AI robots.txt ਕਿਹੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ?
ਇਹ ਮਿਸਾਲ AI ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਆਉਣ ਦਿੰਦੀ ਹੈ, ਮੁੱਖ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀ ਹੈ ਅਤੇ ਇੱਕ ਨਿੱਜੀ ਹਿੱਸਾ ਸਾਰਿਆਂ ਲਈ ਬੰਦ ਰੱਖਦੀ ਹੈ:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ਲਗਾਤਾਰ ਆਈਆਂ ਕਈ User-agent ਲਾਈਨਾਂ ਇੱਕ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਹੇਠਲੇ ਨਿਯਮ ਉਨ੍ਹਾਂ ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਤਾਂ ਬੱਸ ਦੂਜਾ ਗਰੁੱਪ ਛੱਡ ਦਿਓ। Google-Extended ਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ Google ਸਰਚ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ: Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਦਾ ਸਰਚ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ ਅਤੇ ਇਹ ਰੈਂਕਿੰਗ ਦਾ ਸੰਕੇਤ ਨਹੀਂ ਹੈ। ਇਸੇ ਤਰ੍ਹਾਂ, Apple ਕਹਿੰਦਾ ਹੈ ਕਿ Applebot-Extended ਨੂੰ ਰੋਕਣ ਵਾਲੇ ਪੰਨੇ ਫਿਰ ਵੀ ਉਸਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਆ ਸਕਦੇ ਹਨ।
ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਚੁਣਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ 'ਤੇ ਕਿਹੜੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦੇ ਹਨ?
RFC 9309 ਇਸਨੂੰ ਬਿਲਕੁਲ ਸਾਫ਼ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹੀ ਵੇਰਵੇ ਜ਼ਿਆਦਾਤਰ ਹੈਰਾਨੀਆਂ ਦੀ ਵਜ੍ਹਾ ਦੱਸਦੇ ਹਨ:
- ਕ੍ਰੌਲਰ ਉਹ ਗਰੁੱਪ ਲੱਭਦਾ ਹੈ ਜਿਸਦਾ
User-agentਉਸਦੇ ਉਤਪਾਦ ਟੋਕਨ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ। ਜੇ ਕਈ ਗਰੁੱਪ ਮੇਲ ਖਾਣ, ਤਾਂ ਉਨ੍ਹਾਂ ਦੇ ਨਿਯਮ ਇੱਕ ਵਿੱਚ ਜੋੜ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ। - ਸਿਰਫ਼ ਜਦੋਂ ਕੋਈ ਗਰੁੱਪ ਮੇਲ ਨਾ ਖਾਵੇ, ਕ੍ਰੌਲਰ
User-agent: *ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ। ਨਾਂ ਵਾਲਾ ਗਰੁੱਪ*ਤੋਂ ਕੁਝ ਵੀ ਵਿਰਸੇ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ। - ਗਰੁੱਪ ਦੇ ਅੰਦਰ, ਸਭ ਤੋਂ ਲੰਮੇ ਮੇਲ ਖਾਂਦੇ ਪਾਥ ਵਾਲਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ।
/blog/postਲਈAllow: /blog/ਨਿਯਮDisallow: /ਤੋਂ ਉੱਪਰ ਰਹਿੰਦਾ ਹੈ। - ਜੇ
AllowਅਤੇDisallowਨਿਯਮ ਬਰਾਬਰ ਲੰਬਾਈ ਨਾਲ ਮੇਲ ਖਾਣ, ਤਾਂAllowਵਰਤਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। - ਪਾਥ ਵਿੱਚ
*ਕਿਸੇ ਵੀ ਅੱਖਰਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਅਤੇ$ਅਖੀਰ ਨੂੰ ਪੱਕਾ ਕਰਦਾ ਹੈ, ਇਸ ਲਈDisallow: /*.pdf$ਹਰ PDF ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।
robots.txt ਦੀਆਂ ਸਭ ਤੋਂ ਆਮ ਗ਼ਲਤੀਆਂ ਕਿਹੜੀਆਂ ਹਨ?
- ਇਹ ਉਮੀਦ ਕਰਨਾ ਕਿ ਨਾਂ ਵਾਲਾ ਗਰੁੱਪ
*ਤੋਂ ਨਿਯਮ ਲੈ ਲਵੇਗਾ। ਸਿਰਫ਼Allow: /ਵਾਲਾOAI-SearchBotਦਾ ਗਰੁੱਪ ਹਰ ਪਾਥ ਖੋਲ੍ਹ ਦਿੰਦਾ ਹੈ, ਉਹ ਵੀ ਜੋ ਤੁਸੀਂ*ਹੇਠ ਰੋਕੇ ਸਨ। - robots.txt ਦਾ ਪਤਾ ਜੋ HTML ਪੰਨਾ ਵਾਪਸ ਕਰਦਾ ਹੈ, ਅਕਸਰ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੱਤਾ 404 ਪੰਨਾ। ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਸ ਵਿੱਚ ਕੋਈ ਜਾਇਜ਼ ਨਿਯਮ ਨਹੀਂ ਮਿਲਦੇ।
- robots.txt ਜੋ ਸਰਵਰ ਦੀ ਗ਼ਲਤੀ ਵਾਪਸ ਕਰਦਾ ਹੈ। RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਫਿਰ ਕ੍ਰੌਲਰ ਨੂੰ ਮੰਨਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਪੂਰੀ ਸਾਈਟ ਰੋਕੀ ਹੋਈ ਹੈ। 404 ਵੱਖਰਾ ਹੈ: ਇਸਦਾ ਮਤਲਬ ਹੈ ਕੋਈ ਪਾਬੰਦੀ ਨਹੀਂ।
- ਸਿਖਲਾਈ ਰੋਕਣ ਦੇ ਇਰਾਦੇ ਨਾਲ ਸਰਚ ਟੋਕਨ ਬਲੌਕ ਕਰ ਦੇਣਾ, ਮਿਸਾਲ ਵਜੋਂ ਮਾਡਲ ਸਿਖਲਾਈ ਤੋਂ ਬਚਣ ਲਈ
PerplexityBotਜਾਂClaude-SearchBotਨੂੰ ਰੋਕਣਾ। - ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਰੋਕਣ ਲਈ robots.txt 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ। OpenAI ਅਤੇ Perplexity ਦੋਵੇਂ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਸ਼ਾਇਦ ਇਸਦੀ ਪਾਲਣਾ ਨਾ ਕਰਨ।
- ਸਬਡੋਮੇਨ ਭੁੱਲ ਜਾਣਾ। ਹਰ ਹੋਸਟ ਦਾ ਆਪਣਾ robots.txt ਹੁੰਦਾ ਹੈ; Anthropic ਦੇ ਦਸਤਾਵੇਜ਼ ਸਾਈਟ ਮਾਲਕਾਂ ਨੂੰ ਹਰ ਸਬਡੋਮੇਨ ਲਈ ਨਿਯਮ ਜੋੜਨ ਦੀ ਯਾਦ ਦਿਵਾਉਂਦੇ ਹਨ।
ਕੀ ਮੈਂ ਇਜਾਜ਼ਤ ਅਤੇ ਰੋਕ ਤੋਂ ਅੱਗੇ AI ਵਰਤੋਂ ਦੀ ਨੀਤੀ ਦੱਸ ਸਕਦਾ ਹਾਂ?
Cloudflare ਨੇ robots.txt ਲਈ ਤਿੰਨ ਸੰਕੇਤਾਂ ਵਾਲੀ Content-Signal ਲਾਈਨ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੱਤਾ ਹੈ: search (ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣਾ ਅਤੇ ਲਿੰਕ ਤੇ ਛੋਟੇ ਅੰਸ਼ ਦਿਖਾਉਣੇ), ai-input (AI ਜਵਾਬਾਂ ਲਈ ਸਮੱਗਰੀ ਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਵਰਤਣਾ) ਅਤੇ ai-train (ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tuning)। Cloudflare ਦਾ managed robots.txt ਇਸਨੂੰ ਤੁਹਾਡੇ ਲਈ ਜੋੜ ਸਕਦਾ ਹੈ।
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt ਦੀ ਹਰ ਚੀਜ਼ ਵਾਂਗ, ਇਹ ਤਰਜੀਹਾਂ ਹਨ, ਤਕਨੀਕੀ ਕੰਟਰੋਲ ਨਹੀਂ। Cloudflare ਆਪ ਦੱਸਦਾ ਹੈ ਕਿ robots.txt ਦੀ ਪਾਲਣਾ ਸਵੈ-ਇੱਛਾ ਨਾਲ ਹੁੰਦੀ ਹੈ। ਇਹ ਲਾਈਨ ਚੋਣਵੀਂ ਹੈ ਅਤੇ ਕੋਈ ਨੁਕਸਾਨ ਨਹੀਂ ਕਰਦੀ, ਪਰ ਇਹ ਉੱਪਰਲੇ ਹਰ ਕ੍ਰੌਲਰ ਵਾਲੇ ਗਰੁੱਪਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀ।
ਤਬਦੀਲੀਆਂ ਵਿੱਚ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਜਾਂਚਾਂ?
RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਕੀਤਾ robots.txt 24 ਘੰਟਿਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਵਰਤਣਾ ਚਾਹੀਦਾ, ਅਤੇ OpenAI ਤੇ Perplexity ਦੋਵੇਂ ਕਹਿੰਦੇ ਹਨ ਕਿ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਹੋਣ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਦਿਨ ਲੱਗ ਸਕਦਾ ਹੈ। ਇਹ ਵੀ ਯਾਦ ਰੱਖੋ ਕਿ robots.txt ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ ਹੈ: ਜਿਸ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੇ ਨਿਯਮ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਫਾਇਰਵਾਲ ਉਸਨੂੰ ਫਿਰ ਵੀ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ।
AISeeWhy ਜਿਸ ਵੀ ਕ੍ਰੌਲਰ ਨੂੰ ਜਾਂਚਦਾ ਹੈ ਉਸ ਲਈ ਤੁਹਾਡਾ robots.txt RFC 9309 ਮੁਤਾਬਕ ਪਾਰਸ ਕਰਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਫ਼ਾਈਲਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਜਾਂ ਜੋ HTML ਵਜੋਂ ਮਿਲਦੀਆਂ ਹਨ, ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਅਤੇ ਤੁਹਾਡਾ ਸਰਵਰ ਕਿੱਥੇ ਵੱਖ ਹਨ ਅਤੇ ਤਬਦੀਲੀ ਲਈ ਤਿਆਰ diff ਦਿੰਦਾ ਹੈ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
- robots.txt GPTBot ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਪਰ ਸਰਵਰ ਇਸਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ
- robots.txt OAI-SearchBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ
- robots.txt ਇੱਕ HTML ਪੰਨਾ ਹੈ
- robots.txt ਵਿੱਚ ਕੋਈ Content-Signal ਨਹੀਂ
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ GPTBot ਜਾਂ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ AI ਜਵਾਬਾਂ ਵਿੱਚ ਮੇਰੀ ਦਿੱਖ ਘਟਦੀ ਹੈ?
ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਨਹੀਂ। ਦੋਵੇਂ ਵੈਂਡਰ ਸਰਚ ਲਈ ਵੱਖਰੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵਰਤਦੇ ਹਨ, OAI-SearchBot ਅਤੇ Claude-SearchBot। ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦੀ ਚੋਣ ਹੈ।
ਕੀ Google-Extended AI Overviews ਨੂੰ ਰੋਕਦਾ ਹੈ?
ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਸਰਚ ਦੇ AI ਫੀਚਰ Googlebot ਅਤੇ nosnippet ਤੇ noindex ਵਰਗੇ ਆਮ ਸਰਚ ਕੰਟਰੋਲ ਵਰਤਦੇ ਹਨ। Google-Extended Gemini ਦੀ ਸਿਖਲਾਈ ਅਤੇ Google ਦੇ ਹੋਰ ਉਤਪਾਦਾਂ ਵਿੱਚ grounding ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ ਅਤੇ ਸਰਚ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ।
ਕੀ AI ਕ੍ਰੌਲਰ Crawl-delay ਨੂੰ ਮੰਨਦੇ ਹਨ?
ਇਹ RFC 9309 ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ Crawl-delay ਨੂੰ ਗ਼ੈਰ-ਮਿਆਰੀ ਵਾਧੇ ਵਜੋਂ ਮੰਨਦਾ ਹੈ; ਹੋਰ ਵੈਂਡਰਾਂ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਦਸਤਾਵੇਜ਼ ਦੇਖੋ।
robots.txt ਕਿੱਥੇ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ?
ਹਰ ਹੋਸਟ ਦੇ ਰੂਟ 'ਤੇ, ਮਿਸਾਲ ਵਜੋਂ https://example.com/robots.txt। ਸਬਫੋਲਡਰ ਵਿਚਲੀ ਫ਼ਾਈਲ ਅਣਡਿੱਠ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਹਰ ਸਬਡੋਮੇਨ ਨੂੰ ਆਪਣੀ ਫ਼ਾਈਲ ਚਾਹੀਦੀ ਹੈ।
ਸਰੋਤ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ਕ੍ਰੌਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ
- Google: ਆਮ ਕ੍ਰੌਲਰ, Google-Extended ਸਮੇਤ
- Apple: Applebot ਬਾਰੇ
- Cloudflare: Managed robots.txt ਅਤੇ Content Signals