AI کرالرز کو بلاک کیے بغیر سست کیسے کریں

شائع شدہ

مختصر جواب

بلاک کرنے کے بجائے ریٹ لمٹ لگائیں۔ کرالر کی اضافی درخواستوں کا جواب 429 یا 503 اور Retry-After ہیڈر سے دیں، ہر کرالر کو اپنا الگ بجٹ دیں، /robots.txt کو ہر حد سے باہر رکھیں، اور کرالرز کو کیش سے صفحات دیں۔ robots.txt میں Crawl-delay صرف وہاں مدد کرتا ہے جہاں آپریٹر اس کی دستاویز دے: Anthropic اور Bing دیتے ہیں، Google کہتا ہے کہ وہ اسے سپورٹ نہیں کرتا، اور OpenAI اور Perplexity اس کا ذکر نہیں کرتے۔ AI سرچ کرالرز کو اجازت دیتے رہیں، ورنہ آپ ان جوابات سے بھی نکل جائیں گے جنہیں وہ مواد دیتے ہیں۔

جب کوئی کرالر ایک گھنٹے میں ہزاروں درخواستیں بھیجے تو فوری حل Disallow: / یا فائر وال بلاک ہوتا ہے۔ ٹریننگ کرالر کے لیے یہ مناسب انتخاب ہو سکتا ہے۔ OAI-SearchBot، Claude-SearchBot یا PerplexityBot کے لیے یہ آپ کے صفحات کو ان AI جوابات سے نکال دیتا ہے جن میں آپ آنا چاہتے ہیں۔ زیادہ تر اوقات یہ چھوڑے بغیر بوجھ کم کیا جا سکتا ہے، ان اشاروں سے جو کرالرز پہلے سے سمجھتے ہیں: اسٹیٹس کوڈز، کیشنگ اور، کچھ آپریٹرز کے لیے، Crawl-delay۔

اس صفحے پر
  1. اصل میں کون سا کرالر بوجھ ڈال رہا ہے؟
  2. کیا Crawl-delay، AI کرالرز کے لیے کام کرتا ہے؟
  3. 429 اور 503 جوابات کرالرز کو کیسے سست کرتے ہیں؟
  4. AI کرالرز کے لیے ریٹ لمٹ کیسے لگاؤں؟
  5. کیا کیشنگ کرالر کا بوجھ کم کر سکتی ہے؟
  6. کرالرز کو سست کرتے وقت کن چیزوں سے بچوں؟
  7. کیسے جانچوں کہ کرالرز اب بھی گزر رہے ہیں؟

اصل میں کون سا کرالر بوجھ ڈال رہا ہے؟

کچھ بدلنے سے پہلے دیکھیں۔ اپنے access لاگز میں ہر یوزر ایجنٹ اور ہر گھنٹے کی درخواستیں گنیں، اور ماخذ IPs کو ہر کمپنی کی شائع کردہ رینجز سے جانچیں؛ AI کرالرز کے لیے سرور لاگز جانچنے پر ہماری گائیڈ میں کمانڈز ہیں۔ دو نتائج اکثر سامنے آتے ہیں:

کرالرز کو ان کے کام کے لحاظ سے بھی الگ کریں۔ GPTBot اور ClaudeBot جیسے ٹریننگ کرالرز وہ نہیں جو آپ کو AI سرچ میں قابل حوالہ بناتے ہیں، اس لیے اگر مسئلہ ان میں سے کوئی ہے تو اسے ممنوع کرنا معقول آپشن ہے۔ اس گائیڈ کا باقی حصہ ان کرالرز کے لیے ہے جنہیں آپ رکھنا چاہتے ہیں۔

کیا Crawl-delay، AI کرالرز کے لیے کام کرتا ہے؟

Crawl-delay، RFC 9309 کا حصہ نہیں، اس لیے ہر آپریٹر خود طے کرتا ہے کہ اسے پڑھے یا نہیں۔ نومبر 2026 تک دستاویزات یہ کہتی ہیں:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

گروپ کی منطق پر نظر رکھیں۔ جو کرالر اپنے نام والا گروپ پائے وہ User-agent: * گروپ کو مکمل طور پر نظر انداز کرتا ہے، اس لیے ایسا ClaudeBot گروپ جس میں صرف Crawl-delay ہو، باقی سب کے لیے لگائے گئے ہر Disallow کو ختم کر دے گا۔ انہیں دہرائیں، جیسا اوپر ہے۔ Bing، Crawl-delay کو ایسا استثنا بتاتا ہے جسے وہ کسی بھی گروپ سے پڑھتا ہے، لیکن دوسرے کرالرز کے لیے یہ فرض نہ کریں۔

429 اور 503 جوابات کرالرز کو کیسے سست کرتے ہیں؟

لوڈ کے عروج پر اسٹیٹس کوڈ ہی وہ اشارہ ہے جس کا احترام کرنے کے لیے کرالرز بنائے گئے ہیں۔ 429 Too Many Requests، جس کی تعریف RFC 6585 میں ہے، کا مطلب ہے کہ کلائنٹ نے ایک مقررہ وقت میں بہت زیادہ درخواستیں بھیجیں، اور اس میں Retry-After ہیڈر ہو سکتا ہے جو بتائے کہ کتنا انتظار کرنا ہے۔ 503 Service Unavailable کہتا ہے کہ سرور ابھی بوجھ نہیں سنبھال سکتا۔

Google اسے Googlebot کی کرال کی رفتار جلدی کم کرنے کا طریقہ بتاتا ہے: کچھ کرال درخواستوں کو 200 کے بجائے 500، 503 یا 429 لوٹائیں۔ وہ کہتا ہے کہ اس سے پورے hostname کی کرال کی رفتار کم ہوتی ہے، اور Retry-After میں سیکنڈز کی تعداد یا تاریخ ہو سکتی ہے۔

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

اسے مختصر رکھیں۔ Google ایک یا دو دن سے زیادہ ایسا کرنے سے منع کرتا ہے، کیونکہ جو URL کئی دن تک یہ کوڈز لوٹائے وہ اس کے انڈیکس سے نکالا جا سکتا ہے۔ مستقل کمی کے لیے Google اس کے بجائے Search Console کے ذریعے خصوصی درخواست کی سہولت دیتا ہے۔

OpenAI، Anthropic اور Perplexity یہ دستاویز نہیں کرتے کہ ان کے کرالرز 429، 503 یا Retry-After پر کیا ردعمل دیتے ہیں۔ یہ کوڈز کم درخواستیں مانگنے کا معیاری طریقہ ہیں، لیکن ہر AI کرالر کتنی جلدی پیچھے ہٹتا ہے یہ کہیں لکھا نہیں ملتا۔

AI کرالرز کے لیے ریٹ لمٹ کیسے لگاؤں؟

سارے ٹریفک کے لیے ایک حد کے بجائے ہر کرالر کو اپنا بجٹ دیں، اور اس سے زیادہ درخواستوں کا جواب 429 سے دیں۔ nginx میں یہ کام limit_req ماڈیول کرتا ہے۔ خالی key والی درخواستیں گنی نہیں جاتیں، اس لیے ایسا map جو صرف کرالر یوزر ایجنٹس کے لیے key لوٹائے، انسانی وزیٹرز کو نہیں چھیڑتا۔ یہاں ہر کرالر کو 20 کے burst کے ساتھ فی منٹ 60 درخواستیں ملتی ہیں:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

یہاں key یوزر ایجنٹ ہے، اس لیے جو بھی کرالر کا نام نقل کرے وہ اس کرالر کا بجٹ بانٹتا ہے۔ ریٹ لمٹ کے لیے یہ قابل قبول ہے۔ اجازت کے اصول کے لیے کمپنی کی شائع شدہ IP رینجز بھی ملائیں۔

Cloudflare پر rate limiting rules یہی کام edge پر کرتے ہیں۔ Free پلان پر آپ کو ایک اصول ملتا ہے، جو 10 سیکنڈ میں فی IP گنتی کرتا ہے، اور اصول کے expression میں path اور Verified Bot فیلڈ استعمال ہو سکتے ہیں۔ فی IP گنتی ان کرالرز کے لیے موٹا پیمانہ ہے جو درخواستیں بہت سے ایڈریسز میں بانٹتے ہیں، اور بڑے پلانز گنتی کے مزید آپشن دیتے ہیں۔ ڈیفالٹ جواب 429 ہے، اور آپ کوئی دوسرا 4xx کوڈ اور اپنی باڈی سیٹ کر سکتے ہیں۔ AI Crawl Control ہر کرالر کے لیے Allow، Block اور، پرائیویٹ بیٹا میں، Charge دیتا ہے، لیکن رفتار کی کوئی سیٹنگ نہیں۔

جو بھی استعمال کریں، /robots.txt کو حد سے باہر رکھیں۔ RFC 9309 کہتا ہے کہ robots.txt کے لیے سرور کی خرابی کا مطلب ہے کہ کرالر کو پوری سائٹ ممنوع سمجھنی ہوگی، اور Google، 429 کو ان 4xx کوڈز میں شامل نہیں کرتا جنہیں وہ فائل کی غیر موجودگی سمجھتا ہے۔

کیا کیشنگ کرالر کا بوجھ کم کر سکتی ہے؟

اکثر ریٹ لمٹ سے بھی زیادہ۔ کرالرز زیادہ تر ایسے عوامی صفحات مانگتے ہیں جو ہر وزیٹر کے لیے ایک جیسے ہوں، اس لیے انہیں CDN یا page cache سے دینا مہنگی rendering کو سستے cache hits میں بدل دیتا ہے۔ جانچیں کہ آپ کا کیش کرالر یوزر ایجنٹس کے لیے الگ، بغیر کیش والا ورژن نہ رکھے۔

Conditional درخواستیں بھی مدد کرتی ہیں۔ Google کہتا ہے کہ اس کے کرالرز ETag اور If-None-Match، اور Last-Modified اور If-Modified-Since کے ساتھ HTTP کیشنگ سپورٹ کرتے ہیں، اور دونوں موجود ہوں تو ETag استعمال کرتے ہیں۔ OpenAI، Anthropic اور Perplexity کے کرالر صفحات یہ نہیں بتاتے کہ ان کے کرالرز conditional درخواستیں بھیجتے ہیں یا نہیں، اس لیے یہ بچت صرف Google کے لیے مانیں۔

کرالرز کو سست کرتے وقت کن چیزوں سے بچوں؟

کیسے جانچوں کہ کرالرز اب بھی گزر رہے ہیں؟

ریٹ لمٹ بہت سخت لگانا آسان ہے۔ مفت AISeeWhy جانچ صفحہ ایک اصل براؤزر کے ساتھ 16 AI اور سرچ کرالرز کی طرح منگواتی ہے، ہر کرالر پر آپ کا robots.txt لاگو کرتی ہے اور فائر وال کے چیلنج صفحات پہچانتی ہے، اس لیے جو اصول کرالرز کو براؤزرز سے مختلف جواب دے وہ سامنے آ جاتا ہے۔ فی کرالر ایک درخواست کسی معقول حد کو نہیں چھیڑے گی، اور یہی مقصد ہے: اصول بدلنے کے بعد اسے چلائیں تاکہ تصدیق ہو کہ عام درخواستیں اب بھی گزرتی ہیں۔ مفت AI کرالر IP جانچ بتاتی ہے کہ آپ کے لاگز کا کوئی IP واقعی GPTBot یا کسی دوسرے کرالر کا ہے یا نہیں۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا Google، Crawl-delay سپورٹ کرتا ہے؟

نہیں۔ Google کی robots.txt دستاویزات crawl-delay کو ان فیلڈز میں شامل کرتی ہیں جنہیں وہ سپورٹ نہیں کرتا۔ Googlebot کو تھوڑی دیر کے لیے سست کرنے کے لیے کچھ درخواستوں کو 503، 500 یا 429 لوٹائیں؛ لمبی کمی کے لیے Google، Search Console کے ذریعے خصوصی درخواست کی سہولت دیتا ہے۔

کیا ClaudeBot، Crawl-delay کا احترام کرتا ہے؟

Anthropic کہتا ہے کہ وہ غیر معیاری Crawl-delay ایکسٹینشن سپورٹ کرتا ہے۔ اسے ClaudeBot گروپ میں رکھیں اور اپنے User-agent: * گروپ کے سارے Disallow اصول وہاں دہرائیں۔

کیا GPTBot اور PerplexityBot، Crawl-delay سپورٹ کرتے ہیں؟

OpenAI اور Perplexity کے کرالر صفحات Crawl-delay کا ذکر نہیں کرتے، اس لیے اس کا اثر دستاویزی نہیں۔ سرور کی سطح پر ایسی حد استعمال کریں جو اضافی درخواستوں کا جواب 429 سے دے۔

کیا 429 جواب سے میری رینکنگ کو نقصان ہوگا؟

تھوڑے عرصے کے لیے نہیں۔ Google، 429 اور 503 کو کرالنگ عارضی طور پر کم کرنے کا طریقہ بتاتا ہے، لیکن خبردار کرتا ہے کہ جو URLs کئی دن تک یہ لوٹائیں وہ اس کے انڈیکس سے نکالے جا سکتے ہیں۔

کیا بوجھ کم کرنے کے لیے GPTBot بلاک کروں؟

کر سکتے ہیں۔ OpenAI کہتا ہے کہ GPTBot ایسا مواد کرال کرتا ہے جو ٹریننگ میں استعمال ہو سکتا ہے اور ہر robots.txt سیٹنگ آزاد ہے، اس لیے اسے ممنوع کرنے سے آپ ChatGPT سرچ سے نہیں نکلتے، جو OAI-SearchBot استعمال کرتی ہے۔ پہلے اپنے لاگز جانچیں تاکہ یقینی ہو کہ بوجھ OpenAI کے ایڈریسز سے آ رہا ہے۔

ماخذ

مزید مضامین