کسی URL اور مخصوص کرالر کے لیے robots.txt کے اصول کیسے جانچیں؟

شائع شدہ

مختصر جواب

کسی ایک کرالر کے لیے URL جانچنے کے لیے وہ گروپ تلاش کریں جس میں اس کرالر کا ٹوکن ہو (یا اگر کوئی نہ ہو تو User-agent: *)، اس میں URL کے path سے ملنے والے ہر Allow اور Disallow اصول کو جمع کریں، اور سب سے لمبا اصول لاگو کریں؛ برابری کی صورت میں Allow جیتتا ہے۔ آپ یہ ہاتھ سے، Google کے اوپن سورس parser سے، یا ہر کرالر کا فیصلہ دکھانے والے چیکر سے کر سکتے ہیں۔ Search Console کا پرانا robots.txt Tester ختم ہو چکا ہے، اور اس کی جگہ آنے والی robots.txt رپورٹ دکھاتی ہے کہ Google نے کیا منگوایا، کسی URL کا فیصلہ نہیں۔

robots.txt فائل تب تک سادہ لگتی ہے جب تک آپ کو قطعی جواب نہ چاہیے: کیا GPTBot یہ صفحہ منگوا سکتا ہے، اور کیا OAI-SearchBot؟ جواب اس پر منحصر ہے کہ کرالر کون سا گروپ چنتا ہے اور اس گروپ میں کون سا اصول جیتتا ہے، اور دونوں مراحل میں غلطی آسان ہے۔ یہاں RFC 9309 کے تحت مطابقت کا طریقہ، چار مثالیں، اور فائل خود جانچنے کے تین طریقے ہیں۔

اس صفحے پر
  1. Google Search Console کے robots.txt Tester کا کیا ہوا؟
  2. کرالر کیسے طے کرتا ہے کہ URL کی اجازت ہے؟
  3. کیا آپ robots.txt جانچ کی ایک مثال دکھا سکتے ہیں؟
  4. Google کا اوپن سورس robots.txt parser کیسے چلائیں؟
  5. کیا میں Python کے urllib.robotparser سے robots.txt جانچ سکتا ہوں؟
  6. robots.txt جانچ پاس ہونے کے باوجود کرالر کیوں بلاک رہتا ہے؟
  7. تمام AI کرالرز کے لیے robots.txt ایک ساتھ کیسے جانچوں؟

Google Search Console کے robots.txt Tester کا کیا ہوا؟

نومبر 2023 میں Google نے Search Console میں robots.txt رپورٹ شامل کی اور کہا کہ وہ robots.txt ٹیسٹر بند کر رہا ہے۔ رپورٹ Settings کے تحت ہے اور صرف Google کے کرالرز کا احاطہ کرتی ہے۔ یہ دکھاتی ہے:

رپورٹ URL لے کر اجازت یا بلاک کا جواب نہیں دیتی۔ Googlebot کے لیے ایک URL جانچنے کو Google، URL Inspection ٹول کی طرف، اور مقامی جانچ کے لیے اپنی اوپن سورس robots.txt لائبریری کی طرف اشارہ کرتا ہے۔ ان میں سے کوئی بھی GPTBot یا ClaudeBot جیسے AI کرالرز کے بارے میں کچھ نہیں بتاتا۔

کرالر کیسے طے کرتا ہے کہ URL کی اجازت ہے؟

RFC 9309، یعنی Robots Exclusion Protocol، مطابقت کی تعریف کرتا ہے۔ Google اپنے کرالرز کے لیے یہی رویہ دستاویز کرتا ہے۔

robots.txt کا response code اتنا ہی اہم ہے جتنے اس کے اصول۔ 4xx response کا مطلب ہے کرالر سب کچھ منگوا سکتا ہے؛ Google، 429 کے سوا ہر 4xx کو ایسے سمجھتا ہے جیسے فائل موجود ہی نہ ہو۔ 5xx response کا مطلب ہے کرالر کو پوری سائٹ ممنوع سمجھنی چاہیے۔ Google پہلے 12 گھنٹے کرالنگ روکتا ہے، پھر 30 دن تک آخری درست کاپی استعمال کرتا ہے۔ RFC 9309 کرالرز سے کم از کم 500 KiB پارس کرنے کا تقاضا کرتا ہے، اور Google، 500 KiB کے بعد کی ہر چیز نظر انداز کرتا ہے۔

کیا آپ robots.txt جانچ کی ایک مثال دکھا سکتے ہیں؟

یہ ایک چھوٹا robots.txt ہے جس میں ایک ڈیفالٹ گروپ اور دو نام والے AI کرالرز ہیں:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

برابری کم ہوتی ہے لیکن اسی منطق پر چلتی ہے۔ Google کی دستاویزات URL /folder/page کے لیے allow: /folder اور disallow: /folder کی مثال دیتی ہیں: دونوں برابر لمبے ہیں، اس لیے URL کی اجازت ہے۔

Google کا اوپن سورس robots.txt parser کیسے چلائیں؟

Google وہ C++ لائبریری شائع کرتا ہے جو وہ پروڈکشن میں robots.txt اصولوں کی مطابقت کے لیے استعمال کرتا ہے، ساتھ میں ایک چھوٹا کمانڈ لائن پروگرام جو مقامی فائل کے مقابلے میں ایک URL اور ایک یوزر ایجنٹ جانچتا ہے۔ Bazel انسٹال ہو تو:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

ریپوزٹری CMake بلڈ بھی دستاویز کرتی ہے، جو انہی آرگیومنٹس کے ساتھ robots نام کی بائنری بناتی ہے۔ ٹول صرف پارس اور میچ کرتا ہے؛ یہ robots.txt ڈاؤن لوڈ نہیں کرتا، اس لیے پہلے لائیو فائل محفوظ کریں۔ اس کی README یہ بھی بتاتی ہے کہ پارسنگ اور مطابقت سے باہر کرالر کا مخصوص رویہ لائبریری کا حصہ نہیں۔

کیا میں Python کے urllib.robotparser سے robots.txt جانچ سکتا ہوں؟

Python کی معیاری لائبریری میں ایک parser ہے جو کسی یوزر ایجنٹ اور URL کے لیے اجازت یا بلاک کا جواب دیتا ہے۔ یہ اسکرپٹ اوپر والی مثال جانچتا ہے:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

آؤٹ پٹ پر بھروسہ کرنے سے پہلے اپنا Python ورژن جانچیں۔ RFC 9309 مطابقت کی سپورٹ 2026 میں CPython میں شامل ہوئی اور پہلی بار Python 3.13.14 اور 3.14.5 میں آئی۔ پرانے ریلیزز، بشمول 3.12 اور اس سے پہلے کے تمام، سب سے لمبا نہیں بلکہ فائل کی ترتیب میں پہلا ملنے والا اصول لاگو کرتے ہیں، اور paths کے اندر * یا $ نہیں سمجھتے۔ ان ورژنز پر اسکرپٹ پہلا اور چوتھا ٹیسٹ الٹا بتاتا ہے: Googlebot کو /search/help/billing سے بلاک اور OAI-SearchBot کو PDF منگوانے کی اجازت۔

دو مزید فرق ہر ورژن پر لاگو ہوتے ہیں۔ RobotFileParser.read()، robots.txt کے لیے 401 یا 403 response کو سب کچھ ممنوع سمجھتا ہے، جبکہ RFC 9309 کہتا ہے کہ 4xx کا مطلب ہے سب کچھ منگوایا جا سکتا ہے۔ اور read() فائل کو Python کے ڈیفالٹ یوزر ایجنٹ سے ڈاؤن لوڈ کرتا ہے، جسے کچھ فائر وال بلاک کرتے ہیں، اس لیے جانچ آپ کے اصولوں سے غیر متعلق وجوہات سے بلاک دکھا سکتی ہے۔ اوپر کی طرح فائل خود منگوا کر parse() کو دینے سے دونوں مسائل سے بچا جا سکتا ہے۔

robots.txt جانچ پاس ہونے کے باوجود کرالر کیوں بلاک رہتا ہے؟

ٹیسٹر ایک سوال کا جواب دیتا ہے: کیا اصول اس URL کی اجازت دیتے ہیں؟ کئی چیزیں اس جواب سے باہر ہیں:

تمام AI کرالرز کے لیے robots.txt ایک ساتھ کیسے جانچوں؟

مفت AISeeWhy robots.txt چیکر صفحے کا پتہ یا پیسٹ کیا گیا robots.txt لیتا ہے اور ہر AI اور سرچ کرالر کے لیے دکھاتا ہے کہ کیا وہ صفحہ منگوایا جا سکتا ہے۔ مفت robots.txt جنریٹر آپ کے انتخاب سے فائل لکھتا ہے، اور مفت جانچ صفحہ 16 کرالرز کی طرح منگوا کر دکھاتی ہے کہ کیا فائر وال وہ بلاک کرتا ہے جس کی robots.txt اجازت دیتا ہے۔

اس مسئلے کے حل

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا Google Search Console میں اب بھی robots.txt ٹیسٹر ہے؟

نہیں۔ Google نے نومبر 2023 میں اس کی جگہ robots.txt رپورٹ لائی، جو Google کی منگوائی گئی فائلیں، ان کی حالت اور کوئی errors دکھاتی ہے۔ یہ جانچنے کے لیے کہ کیا Googlebot کسی خاص URL کو کرال کر سکتا ہے، URL Inspection ٹول استعمال کریں۔

کیا robots.txt میں Allow، Disallow پر غالب آتا ہے؟

صرف تب جب Allow اصول لمبا ہو، یا بالکل برابر لمبا ہو۔ سب سے لمبے ملتے path والا اصول جیتتا ہے، چاہے کسی بھی قسم کا ہو، اور برابری میں Allow جیتتا ہے۔

کیا robots.txt میں حروف کا چھوٹا بڑا ہونا اہم ہے؟

جزوی طور پر۔ User-agent کی قدر حروف کی پروا کیے بغیر ملائی جاتی ہے، اس لیے gptbot اور GPTBot ایک ہی گروپ ہیں۔ Paths میں حروف اہم ہیں، اس لیے Disallow: /Private/، /private/ کو بلاک نہیں کرتا۔

robots.txt ویلیڈیٹر کیا جانچتا ہے؟

ویلیڈیٹر جانچتا ہے کہ فائل قابل رسائی ہے، متن کے طور پر دی جاتی ہے اور درست syntax میں لکھی ہے۔ ٹیسٹر آگے بڑھ کر کسی مخصوص URL اور کرالر کا فیصلہ دیتا ہے۔ عموماً دونوں چاہیے، کیونکہ درست فائل بھی وہ صفحہ بلاک کر سکتی ہے جس کی آپ اجازت دینا چاہتے تھے۔

اگر کرالر کا اپنا گروپ ہو تو کیا وہ پھر بھی User-agent: * پر عمل کرتا ہے؟

نہیں۔ نام والا گروپ اس کرالر کے لیے * گروپ کی مکمل جگہ لے لیتا ہے۔ جو اصول آپ سب پر لاگو کرنا چاہتے ہیں اسے ہر نام والے گروپ میں دہرانا ہوگا۔

ماخذ

مزید مضامین