کسی URL اور مخصوص کرالر کے لیے robots.txt کے اصول کیسے جانچیں؟
کسی ایک کرالر کے لیے URL جانچنے کے لیے وہ گروپ تلاش کریں جس میں اس کرالر کا ٹوکن ہو (یا اگر کوئی نہ ہو تو User-agent: *)، اس میں URL کے path سے ملنے والے ہر Allow اور Disallow اصول کو جمع کریں، اور سب سے لمبا اصول لاگو کریں؛ برابری کی صورت میں Allow جیتتا ہے۔ آپ یہ ہاتھ سے، Google کے اوپن سورس parser سے، یا ہر کرالر کا فیصلہ دکھانے والے چیکر سے کر سکتے ہیں۔ Search Console کا پرانا robots.txt Tester ختم ہو چکا ہے، اور اس کی جگہ آنے والی robots.txt رپورٹ دکھاتی ہے کہ Google نے کیا منگوایا، کسی URL کا فیصلہ نہیں۔
robots.txt فائل تب تک سادہ لگتی ہے جب تک آپ کو قطعی جواب نہ چاہیے: کیا GPTBot یہ صفحہ منگوا سکتا ہے، اور کیا OAI-SearchBot؟ جواب اس پر منحصر ہے کہ کرالر کون سا گروپ چنتا ہے اور اس گروپ میں کون سا اصول جیتتا ہے، اور دونوں مراحل میں غلطی آسان ہے۔ یہاں RFC 9309 کے تحت مطابقت کا طریقہ، چار مثالیں، اور فائل خود جانچنے کے تین طریقے ہیں۔
اس صفحے پر
- Google Search Console کے robots.txt Tester کا کیا ہوا؟
- کرالر کیسے طے کرتا ہے کہ URL کی اجازت ہے؟
- کیا آپ robots.txt جانچ کی ایک مثال دکھا سکتے ہیں؟
- Google کا اوپن سورس robots.txt parser کیسے چلائیں؟
- کیا میں Python کے urllib.robotparser سے robots.txt جانچ سکتا ہوں؟
- robots.txt جانچ پاس ہونے کے باوجود کرالر کیوں بلاک رہتا ہے؟
- تمام AI کرالرز کے لیے robots.txt ایک ساتھ کیسے جانچوں؟
Google Search Console کے robots.txt Tester کا کیا ہوا؟
نومبر 2023 میں Google نے Search Console میں robots.txt رپورٹ شامل کی اور کہا کہ وہ robots.txt ٹیسٹر بند کر رہا ہے۔ رپورٹ Settings کے تحت ہے اور صرف Google کے کرالرز کا احاطہ کرتی ہے۔ یہ دکھاتی ہے:
- وہ robots.txt فائلیں جو Google کو آپ کی پراپرٹی کے سرفہرست 20 ہوسٹس کے لیے ملیں۔
- ہر فائل کی fetch حالت (
Fetched،Not Fetched - Not found (404)یاNot Fetched - Any other reason)، Google نے آخری بار کب جانچا، اور بائٹس میں اس کا سائز۔ - فائل میں مسائل۔ Google کہتا ہے کہ errors کسی اصول کو استعمال ہونے سے روکتے ہیں، جبکہ warnings نہیں روکتیں۔
- پچھلے 30 دنوں میں Google کے منگوائے گئے ورژنز، اور فائل ٹھیک کرنے کے بعد دوبارہ کرال کی درخواست کا بٹن۔
رپورٹ URL لے کر اجازت یا بلاک کا جواب نہیں دیتی۔ Googlebot کے لیے ایک URL جانچنے کو Google، URL Inspection ٹول کی طرف، اور مقامی جانچ کے لیے اپنی اوپن سورس robots.txt لائبریری کی طرف اشارہ کرتا ہے۔ ان میں سے کوئی بھی GPTBot یا ClaudeBot جیسے AI کرالرز کے بارے میں کچھ نہیں بتاتا۔
کرالر کیسے طے کرتا ہے کہ URL کی اجازت ہے؟
RFC 9309، یعنی Robots Exclusion Protocol، مطابقت کی تعریف کرتا ہے۔ Google اپنے کرالرز کے لیے یہی رویہ دستاویز کرتا ہے۔
- گروپ چننا۔ User-agent کی مطابقت میں حروف کا چھوٹا بڑا ہونا اہم نہیں۔ اگر ایک یا زیادہ گروپ کرالر کا ٹوکن رکھتے ہوں تو ان کے اصول ملا دیے جاتے ہیں اور
User-agent: *گروپ کو مکمل نظر انداز کیا جاتا ہے۔ صرف وہ کرالر جس کا نام والا گروپ نہ ہو،*پر عمل کرتا ہے۔ - اصول چننا۔ ان
AllowاورDisallowاصولوں میں سے جن کا path، URL سے ملتا ہے، سب سے زیادہ حروف والا جیتتا ہے۔ اگرAllowاورDisallowبرابر لمبے ہوں توAllowکو جیتنا چاہیے۔ - پیٹرنز پڑھنا۔
*حروف کے کسی بھی سلسلے سے ملتا ہے اور$، URL کا اختتام ظاہر کرتا ہے۔ Paths میں حروف کا چھوٹا بڑا ہونا اہم ہے، اس لیے/Admin/،/admin/سے نہیں ملتا۔ - کوئی ملتا اصول نہ ہو تو اجازت ہے۔
/robots.txtکی خود ہمیشہ اجازت ہوتی ہے۔
robots.txt کا response code اتنا ہی اہم ہے جتنے اس کے اصول۔ 4xx response کا مطلب ہے کرالر سب کچھ منگوا سکتا ہے؛ Google، 429 کے سوا ہر 4xx کو ایسے سمجھتا ہے جیسے فائل موجود ہی نہ ہو۔ 5xx response کا مطلب ہے کرالر کو پوری سائٹ ممنوع سمجھنی چاہیے۔ Google پہلے 12 گھنٹے کرالنگ روکتا ہے، پھر 30 دن تک آخری درست کاپی استعمال کرتا ہے۔ RFC 9309 کرالرز سے کم از کم 500 KiB پارس کرنے کا تقاضا کرتا ہے، اور Google، 500 KiB کے بعد کی ہر چیز نظر انداز کرتا ہے۔
کیا آپ robots.txt جانچ کی ایک مثال دکھا سکتے ہیں؟
یہ ایک چھوٹا robots.txt ہے جس میں ایک ڈیفالٹ گروپ اور دو نام والے AI کرالرز ہیں:
Googlebotاور/search/help/billing: اجازت ہے۔ Googlebot کا کوئی گروپ نہیں، اس لیے*گروپ لاگو ہوتا ہے۔Disallow: /searchاورAllow: /search/helpدونوں ملتے ہیں، اورAllowاصول لمبا ہے۔GPTBotاور/blog/post: بلاک۔ GPTBot کا اپنا گروپ ہے، اورDisallow: /ہر path سے ملتا ہے۔OAI-SearchBotاور/admin/settings: اجازت ہے۔ OAI-SearchBot کا اپنا گروپ ہے، اس لیے*گروپ کاDisallow: /admin/اس پر لاگو نہیں ہوتا۔ یہ سب سے عام حیرانی ہے؛ مشترکہ اصول ہر نام والے گروپ میں دہرائیں۔OAI-SearchBotاور/files/report.pdf: بلاک۔Allow: /ایک حرف سے ملتا ہے،Disallow: /*.pdf$سات حروف سے، اور لمبا اصول جیتتا ہے۔
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ برابری کم ہوتی ہے لیکن اسی منطق پر چلتی ہے۔ Google کی دستاویزات URL /folder/page کے لیے allow: /folder اور disallow: /folder کی مثال دیتی ہیں: دونوں برابر لمبے ہیں، اس لیے URL کی اجازت ہے۔
Google کا اوپن سورس robots.txt parser کیسے چلائیں؟
Google وہ C++ لائبریری شائع کرتا ہے جو وہ پروڈکشن میں robots.txt اصولوں کی مطابقت کے لیے استعمال کرتا ہے، ساتھ میں ایک چھوٹا کمانڈ لائن پروگرام جو مقامی فائل کے مقابلے میں ایک URL اور ایک یوزر ایجنٹ جانچتا ہے۔ Bazel انسٹال ہو تو:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed ریپوزٹری CMake بلڈ بھی دستاویز کرتی ہے، جو انہی آرگیومنٹس کے ساتھ robots نام کی بائنری بناتی ہے۔ ٹول صرف پارس اور میچ کرتا ہے؛ یہ robots.txt ڈاؤن لوڈ نہیں کرتا، اس لیے پہلے لائیو فائل محفوظ کریں۔ اس کی README یہ بھی بتاتی ہے کہ پارسنگ اور مطابقت سے باہر کرالر کا مخصوص رویہ لائبریری کا حصہ نہیں۔
کیا میں Python کے urllib.robotparser سے robots.txt جانچ سکتا ہوں؟
Python کی معیاری لائبریری میں ایک parser ہے جو کسی یوزر ایجنٹ اور URL کے لیے اجازت یا بلاک کا جواب دیتا ہے۔ یہ اسکرپٹ اوپر والی مثال جانچتا ہے:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") آؤٹ پٹ پر بھروسہ کرنے سے پہلے اپنا Python ورژن جانچیں۔ RFC 9309 مطابقت کی سپورٹ 2026 میں CPython میں شامل ہوئی اور پہلی بار Python 3.13.14 اور 3.14.5 میں آئی۔ پرانے ریلیزز، بشمول 3.12 اور اس سے پہلے کے تمام، سب سے لمبا نہیں بلکہ فائل کی ترتیب میں پہلا ملنے والا اصول لاگو کرتے ہیں، اور paths کے اندر * یا $ نہیں سمجھتے۔ ان ورژنز پر اسکرپٹ پہلا اور چوتھا ٹیسٹ الٹا بتاتا ہے: Googlebot کو /search/help/billing سے بلاک اور OAI-SearchBot کو PDF منگوانے کی اجازت۔
دو مزید فرق ہر ورژن پر لاگو ہوتے ہیں۔ RobotFileParser.read()، robots.txt کے لیے 401 یا 403 response کو سب کچھ ممنوع سمجھتا ہے، جبکہ RFC 9309 کہتا ہے کہ 4xx کا مطلب ہے سب کچھ منگوایا جا سکتا ہے۔ اور read() فائل کو Python کے ڈیفالٹ یوزر ایجنٹ سے ڈاؤن لوڈ کرتا ہے، جسے کچھ فائر وال بلاک کرتے ہیں، اس لیے جانچ آپ کے اصولوں سے غیر متعلق وجوہات سے بلاک دکھا سکتی ہے۔ اوپر کی طرح فائل خود منگوا کر parse() کو دینے سے دونوں مسائل سے بچا جا سکتا ہے۔
robots.txt جانچ پاس ہونے کے باوجود کرالر کیوں بلاک رہتا ہے؟
ٹیسٹر ایک سوال کا جواب دیتا ہے: کیا اصول اس URL کی اجازت دیتے ہیں؟ کئی چیزیں اس جواب سے باہر ہیں:
- لائیو فائل اس سے مختلف ہے جو آپ نے جانچی، یا کرالر ابھی کیش شدہ کاپی استعمال کر رہا ہے۔ RFC 9309 کہتا ہے کہ کرالرز کو کیش شدہ کاپی 24 گھنٹے سے زیادہ استعمال نہیں کرنی چاہیے، اور Google عموماً 24 گھنٹے تک کیش کرتا ہے۔
- robots.txt کا URL ایک HTML صفحہ یا error لوٹاتا ہے۔ status 200 والے HTML صفحے میں کوئی درست اصول نہیں ہوتا، اور 5xx response پوری سائٹ بلاک کر دیتا ہے۔
- robots.txt ایک درخواست ہے، رسائی کا کنٹرول نہیں۔ فائر وال، CDN یا بوٹ پروٹیکشن پھر بھی کرالر کو 403 یا چیلنج صفحہ دے سکتا ہے۔
تمام AI کرالرز کے لیے robots.txt ایک ساتھ کیسے جانچوں؟
مفت AISeeWhy robots.txt چیکر صفحے کا پتہ یا پیسٹ کیا گیا robots.txt لیتا ہے اور ہر AI اور سرچ کرالر کے لیے دکھاتا ہے کہ کیا وہ صفحہ منگوایا جا سکتا ہے۔ مفت robots.txt جنریٹر آپ کے انتخاب سے فائل لکھتا ہے، اور مفت جانچ صفحہ 16 کرالرز کی طرح منگوا کر دکھاتی ہے کہ کیا فائر وال وہ بلاک کرتا ہے جس کی robots.txt اجازت دیتا ہے۔
اس مسئلے کے حل
- robots.txt GPTBot کو اجازت دیتا ہے، لیکن سرور اسے بلاک کرتا ہے
- robots.txt میں OAI-SearchBot ممنوع ہے
- robots.txt ایک HTML صفحہ ہے
- robots.txt منگوایا نہیں جا سکتا
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا Google Search Console میں اب بھی robots.txt ٹیسٹر ہے؟
نہیں۔ Google نے نومبر 2023 میں اس کی جگہ robots.txt رپورٹ لائی، جو Google کی منگوائی گئی فائلیں، ان کی حالت اور کوئی errors دکھاتی ہے۔ یہ جانچنے کے لیے کہ کیا Googlebot کسی خاص URL کو کرال کر سکتا ہے، URL Inspection ٹول استعمال کریں۔
کیا robots.txt میں Allow، Disallow پر غالب آتا ہے؟
صرف تب جب Allow اصول لمبا ہو، یا بالکل برابر لمبا ہو۔ سب سے لمبے ملتے path والا اصول جیتتا ہے، چاہے کسی بھی قسم کا ہو، اور برابری میں Allow جیتتا ہے۔
کیا robots.txt میں حروف کا چھوٹا بڑا ہونا اہم ہے؟
جزوی طور پر۔ User-agent کی قدر حروف کی پروا کیے بغیر ملائی جاتی ہے، اس لیے gptbot اور GPTBot ایک ہی گروپ ہیں۔ Paths میں حروف اہم ہیں، اس لیے Disallow: /Private/، /private/ کو بلاک نہیں کرتا۔
robots.txt ویلیڈیٹر کیا جانچتا ہے؟
ویلیڈیٹر جانچتا ہے کہ فائل قابل رسائی ہے، متن کے طور پر دی جاتی ہے اور درست syntax میں لکھی ہے۔ ٹیسٹر آگے بڑھ کر کسی مخصوص URL اور کرالر کا فیصلہ دیتا ہے۔ عموماً دونوں چاہیے، کیونکہ درست فائل بھی وہ صفحہ بلاک کر سکتی ہے جس کی آپ اجازت دینا چاہتے تھے۔
اگر کرالر کا اپنا گروپ ہو تو کیا وہ پھر بھی User-agent: * پر عمل کرتا ہے؟
نہیں۔ نام والا گروپ اس کرالر کے لیے * گروپ کی مکمل جگہ لے لیتا ہے۔ جو اصول آپ سب پر لاگو کرنا چاہتے ہیں اسے ہر نام والے گروپ میں دہرانا ہوگا۔
ماخذ
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py