একটি URL ও নির্দিষ্ট ক্রলারের জন্য robots.txt রুল কীভাবে পরীক্ষা করব?

প্রকাশিত

সংক্ষিপ্ত উত্তর

একটি ক্রলারের জন্য URL পরীক্ষা করতে সেই গ্রুপটি খুঁজুন যেখানে ক্রলারের টোকেনের নাম আছে (না থাকলে User-agent: *), তাতে URL পাথের সঙ্গে মেলে এমন সব Allow ও Disallow রুল জড়ো করুন, এবং সবচেয়ে লম্বাটি প্রয়োগ করুন; সমান হলে Allow জেতে। এটি হাতে করা যায়, Google-এর ওপেন সোর্স পার্সার দিয়ে করা যায়, বা এমন চেকার দিয়ে যা প্রতিটি ক্রলারের জন্য রায় দেখায়। Search Console-এর পুরোনো robots.txt Tester আর নেই, আর তার জায়গায় আসা robots.txt রিপোর্ট দেখায় Google কী এনেছে, কোনো URL-এর রায় নয়।

robots.txt ফাইল সহজ মনে হয়, যতক্ষণ না একটি নিশ্চিত উত্তর লাগে: GPTBot কি এই পেজ আনতে পারে, আর OAI-SearchBot? উত্তর নির্ভর করে ক্রলার কোন গ্রুপ বেছে নেয় এবং সেই গ্রুপের কোন রুল জেতে তার ওপর, আর দুটি ধাপেই ভুল করা সহজ। নিচে আছে RFC 9309 অনুযায়ী মেলানো কীভাবে কাজ করে, চারটি সমাধান করা উদাহরণ, এবং নিজে ফাইল পরীক্ষার তিনটি উপায়।

এই পেজে
  1. Google Search Console-এর robots.txt Tester-এর কী হলো?
  2. একটি URL অনুমোদিত কি না, ক্রলার কীভাবে ঠিক করে?
  3. robots.txt পরীক্ষার একটি উদাহরণ ধাপে ধাপে দেখা যায়?
  4. Google-এর ওপেন সোর্স robots.txt পার্সার কীভাবে চালাব?
  5. Python-এর urllib.robotparser দিয়ে কি robots.txt পরীক্ষা করা যায়?
  6. robots.txt পরীক্ষা পাস করলেও ক্রলার ব্লকড থাকে কেন?
  7. একবারে সব AI ক্রলারের জন্য robots.txt কীভাবে চেক করব?

Google Search Console-এর robots.txt Tester-এর কী হলো?

নভেম্বর 2023-এ Google Search Console-এ একটি robots.txt রিপোর্ট যোগ করে এবং জানায় যে robots.txt tester বন্ধ করা হচ্ছে। রিপোর্টটি Settings-এর মধ্যে আছে এবং শুধু Google-এর ক্রলারদের নিয়ে। এটি দেখায়:

রিপোর্টটি কোনো URL নিয়ে অনুমোদিত বা ব্লকড, এমন উত্তর দেয় না। Googlebot-এর জন্য একটি URL চেক করতে Google URL Inspection টুলের কথা বলে, আর লোকাল পরীক্ষার জন্য তার ওপেন সোর্স robots.txt লাইব্রেরির কথা। এদের কোনোটিই GPTBot বা ClaudeBot-এর মতো AI ক্রলার সম্পর্কে কিছু জানায় না।

একটি URL অনুমোদিত কি না, ক্রলার কীভাবে ঠিক করে?

মেলানোর নিয়ম ঠিক করে RFC 9309, Robots Exclusion Protocol। Google তার ক্রলারদের জন্য একই আচরণ নথিভুক্ত করে।

robots.txt-এর রেসপন্স কোড এর রুলের মতোই গুরুত্বপূর্ণ। 4xx রেসপন্স মানে ক্রলার সব কিছু আনতে পারে; Google 429 ছাড়া প্রতিটি 4xx-কে এমনভাবে দেখে যেন কোনো ফাইলই নেই। 5xx রেসপন্স মানে ক্রলারকে ধরে নিতে হবে পুরো সাইট নিষিদ্ধ। Google প্রথম 12 ঘণ্টা ক্রল বন্ধ রাখে, তারপর সর্বোচ্চ 30 দিন শেষ ভালো কপিটি ব্যবহার করে। RFC 9309 অনুযায়ী ক্রলারদের অন্তত 500 KiB পার্স করতে হয়, আর Google 500 KiB-এর পরের সব কিছু উপেক্ষা করে।

robots.txt পরীক্ষার একটি উদাহরণ ধাপে ধাপে দেখা যায়?

এখানে একটি ডিফল্ট গ্রুপ ও নাম দেওয়া দুটি AI ক্রলারসহ একটি ছোট robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

সমতা কম ঘটে, তবে একই যুক্তি মানে। Google-এর ডকুমেন্টেশনে /folder/page URL-এর জন্য allow: /folder ও disallow: /folder-এর উদাহরণ আছে: দুটিই সমান লম্বা, তাই URL-টি অনুমোদিত।

Google-এর ওপেন সোর্স robots.txt পার্সার কীভাবে চালাব?

robots.txt রুল মেলাতে Google প্রোডাকশনে যে C++ লাইব্রেরি ব্যবহার করে, তা প্রকাশ করে, সঙ্গে একটি ছোট কমান্ড-লাইন প্রোগ্রাম, যা একটি লোকাল ফাইলের বিপরীতে একটি URL ও একটি ইউজার এজেন্ট পরীক্ষা করে। Bazel ইনস্টল করা থাকলে:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

রিপোজিটরিতে একটি CMake বিল্ডও নথিভুক্ত আছে, যা একই আর্গুমেন্টসহ robots নামের একটি বাইনারি তৈরি করে। টুলটি শুধু পার্স করে ও মেলায়; এটি robots.txt ডাউনলোড করে না, তাই আগে লাইভ ফাইলটি সেভ করুন। এর README-তে আরও বলা আছে, পার্সিং ও মেলানোর বাইরে ক্রলার-নির্দিষ্ট আচরণ লাইব্রেরির অংশ নয়।

Python-এর urllib.robotparser দিয়ে কি robots.txt পরীক্ষা করা যায়?

Python-এর স্ট্যান্ডার্ড লাইব্রেরিতে একটি পার্সার আছে, যা একটি ইউজার এজেন্ট ও একটি URL-এর জন্য অনুমোদিত বা ব্লকড উত্তর দেয়। এই স্ক্রিপ্টটি ওপরের উদাহরণ পরীক্ষা করে:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

ফলাফলে ভরসা করার আগে আপনার Python সংস্করণ চেক করুন। RFC 9309 অনুযায়ী মেলানোর সমর্থন CPython-এ যোগ হয়েছে 2026-এ এবং প্রথম এসেছে Python 3.13.14 ও 3.14.5-এ। পুরোনো রিলিজগুলো, 3.12 ও তার আগের সবসহ, ফাইলের ক্রমে প্রথম যে রুল মেলে সেটি প্রয়োগ করে, সবচেয়ে লম্বাটি নয়, আর পাথের ভেতরে * বা $ বোঝে না। ওই সংস্করণগুলোতে স্ক্রিপ্টটি প্রথম ও চতুর্থ পরীক্ষার উল্টো ফল দেয়: Googlebot /search/help/billing থেকে ব্লকড, আর OAI-SearchBot PDF আনার অনুমতি পায়।

আরও দুটি পার্থক্য সব সংস্করণে প্রযোজ্য। RobotFileParser.read() robots.txt-এর জন্য 401 বা 403 রেসপন্সকে সব নিষেধ হিসেবে ধরে, অথচ RFC 9309 বলে 4xx মানে সব কিছু আনা যাবে। আর read() Python-এর ডিফল্ট ইউজার এজেন্ট দিয়ে ফাইল ডাউনলোড করে, যা কিছু ফায়ারওয়াল ব্লক করে, তাই আপনার রুলের সঙ্গে সম্পর্কহীন কারণে পরীক্ষা ব্লকড দেখাতে পারে। ওপরের মতো নিজে ফাইলটি এনে parse()-এ দিলে দুটি সমস্যাই এড়ানো যায়।

robots.txt পরীক্ষা পাস করলেও ক্রলার ব্লকড থাকে কেন?

একটি টেস্টার একটি প্রশ্নের উত্তর দেয়: রুল কি এই URL-কে অনুমতি দেয়? কয়েকটি বিষয় সেই উত্তরের বাইরে থাকে:

একবারে সব AI ক্রলারের জন্য robots.txt কীভাবে চেক করব?

ফ্রি AISeeWhy robots.txt চেকার একটি পেজের ঠিকানা বা পেস্ট করা robots.txt নেয় এবং প্রতিটি AI ও সার্চ ক্রলারের জন্য দেখায় সেই পেজ আনা যাবে কি না। ফ্রি robots.txt জেনারেটর আপনার পছন্দ অনুযায়ী একটি ফাইল লেখে, আর ফ্রি চেক 16টি ক্রলার হিসেবে পেজটি এনে দেখায় robots.txt যা অনুমতি দেয়, ফায়ারওয়াল তা ব্লক করে কি না।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Google Search Console-এ কি এখনো robots.txt tester আছে?

না। নভেম্বর 2023-এ Google এটিকে robots.txt রিপোর্ট দিয়ে প্রতিস্থাপন করেছে, যা দেখায় Google কোন ফাইলগুলো এনেছে, তাদের স্ট্যাটাস ও কোনো এরর। Googlebot একটি নির্দিষ্ট URL ক্রল করতে পারে কি না দেখতে URL Inspection টুল ব্যবহার করুন।

robots.txt-এ Allow কি Disallow-কে ছাপিয়ে যায়?

শুধু যখন Allow রুলটি লম্বা, বা ঠিক সমান লম্বা। যে রুলের মেলা পাথ সবচেয়ে লম্বা, সেটিই জেতে, ধরন যা-ই হোক, আর সমান হলে Allow জেতে।

robots.txt কি বড়-ছোট হাতের অক্ষরে পার্থক্য করে?

আংশিকভাবে। User-agent মান মেলানো হয় বড়-ছোট হাতের অক্ষর না দেখে, তাই gptbot ও GPTBot একই গ্রুপ বোঝায়। পাথে পার্থক্য হয়, তাই Disallow: /Private/ /private/ ব্লক করে না।

robots.txt ভ্যালিডেটর কী চেক করে?

ভ্যালিডেটর চেক করে ফাইলটি পাওয়া যায় কি না, টেক্সট হিসেবে পাঠানো হয় কি না এবং বৈধ সিনট্যাক্সে লেখা কি না। টেস্টার আরও এগিয়ে একটি নির্দিষ্ট URL ও ক্রলারের জন্য রায় দেয়। সাধারণত দুটিই লাগে, কারণ বৈধ ফাইলও এমন পেজ ব্লক করতে পারে যা আপনি অনুমতি দিতে চেয়েছিলেন।

কোনো ক্রলারের নিজের গ্রুপ থাকলে সে কি তবুও User-agent: * মানে?

না। নাম দেওয়া গ্রুপ সেই ক্রলারের জন্য * গ্রুপকে পুরোপুরি প্রতিস্থাপন করে। যে রুল সবার জন্য প্রযোজ্য করতে চান, তা প্রতিটি নাম দেওয়া গ্রুপে আবার লিখতে হবে।

উৎস

আরও আর্টিকেল