ஒரு URL-க்கும் ஒரு குறிப்பிட்ட கிராலருக்கும் robots.txt விதிகளை எப்படிச் சோதிப்பது?
ஒரு கிராலருக்கு ஒரு URL-ஐச் சோதிக்க, கிராலரின் டோக்கனைப் பெயரிடும் குழுவைக் கண்டுபிடியுங்கள் (எதுவும் இல்லையெனில் User-agent: *), அதில் URL path-உடன் பொருந்தும் ஒவ்வொரு Allow, Disallow விதியையும் சேகரித்து, மிக நீளமானதைப் பொருத்துங்கள்; சமநிலையில் Allow வெல்லும். இதைக் கைமுறையாகவோ, Google-இன் open-source parser மூலமோ, ஒவ்வொரு கிராலருக்கும் முடிவைக் காட்டும் checker மூலமோ செய்யலாம். Search Console-இல் இருந்த Google-இன் பழைய robots.txt Tester இப்போது இல்லை; அதற்குப் பதிலாக வந்த robots.txt அறிக்கை Google எதைப் பெற்றது என்று காட்டுகிறது, ஒரு URL-க்கான முடிவை அல்ல.
robots.txt கோப்பு எளிமையாகத் தெரியும், உறுதியான பதில் தேவைப்படும் வரை: GPTBot இந்தப் பக்கத்தைப் பெறலாமா, OAI-SearchBot பெறலாமா? பதில், கிராலர் எந்தக் குழுவைத் தேர்ந்தெடுக்கிறது, அந்தக் குழுவுக்குள் எந்த விதி வெல்கிறது என்பதைப் பொறுத்தது; இரண்டு படிகளிலும் தவறு செய்வது எளிது. RFC 9309-இன் கீழ் பொருத்தம் எப்படி வேலை செய்கிறது, நான்கு எடுத்துக்காட்டுகள், ஒரு கோப்பை நீங்களே சோதிக்க மூன்று வழிகள் இங்கே.
இந்தப் பக்கத்தில்
- Google Search Console-இல் இருந்த robots.txt Tester-க்கு என்ன ஆனது?
- ஒரு URL அனுமதிக்கப்பட்டதா என்று கிராலர் எப்படித் தீர்மானிக்கிறது?
- robots.txt சோதனைக்கு ஒரு எடுத்துக்காட்டைப் படிப்படியாகக் காட்ட முடியுமா?
- Google-இன் open-source robots.txt parser-ஐ எப்படி இயக்குவது?
- Python-இன் urllib.robotparser மூலம் robots.txt-ஐச் சோதிக்க முடியுமா?
- robots.txt சோதனை வெற்றியடைந்தும் கிராலர் ஏன் இன்னும் தடுக்கப்படுகிறது?
- எல்லா AI கிராலர்களுக்கும் robots.txt-ஐ ஒரே நேரத்தில் எப்படிச் சரிபார்ப்பது?
Google Search Console-இல் இருந்த robots.txt Tester-க்கு என்ன ஆனது?
நவம்பர் 2023-இல் Google, Search Console-இல் robots.txt அறிக்கையைச் சேர்த்து, robots.txt tester-ஐ நிறுத்துவதாகச் சொன்னது. அறிக்கை Settings-இன் கீழ் உள்ளது, Google-இன் கிராலர்களை மட்டுமே உள்ளடக்குகிறது. அது காட்டுவது:
- உங்கள் property-இன் முதல் 20 host-களுக்கு Google கண்டுபிடித்த robots.txt கோப்புகள்.
- ஒவ்வொரு கோப்பின் fetch நிலை (
Fetched,Not Fetched - Not found (404)அல்லதுNot Fetched - Any other reason), Google கடைசியாக எப்போது சரிபார்த்தது, bytes-இல் அதன் அளவு. - கோப்பில் உள்ள சிக்கல்கள். பிழைகள் ஒரு விதி பயன்படுத்தப்படுவதைத் தடுக்கின்றன, எச்சரிக்கைகள் தடுப்பதில்லை என்று Google கூறுகிறது.
- கடந்த 30 நாட்களில் Google பெற்ற பதிப்புகள், கோப்பைச் சரிசெய்த பிறகு மீண்டும் கிரால் செய்யக் கோரும் பொத்தான்.
அறிக்கை ஒரு URL-ஐ எடுத்து அனுமதி அல்லது தடை என்று பதில் தருவதில்லை. Googlebot-க்கு ஒரு URL-ஐச் சரிபார்க்க Google, URL Inspection கருவியைச் சுட்டுகிறது; உள்ளூர் சோதனைக்குத் தன் open-source robots.txt நூலகத்தைச் சுட்டுகிறது. இவை இரண்டும் GPTBot அல்லது ClaudeBot போன்ற AI கிராலர்கள் பற்றி எதுவும் சொல்வதில்லை.
ஒரு URL அனுமதிக்கப்பட்டதா என்று கிராலர் எப்படித் தீர்மானிக்கிறது?
Robots Exclusion Protocol ஆன RFC 9309 பொருத்தத்தை வரையறுக்கிறது. Google தன் கிராலர்களுக்கு அதே நடத்தையை ஆவணப்படுத்துகிறது.
- குழுவைத் தேர்ந்தெடுங்கள். User-agent பொருத்தம் பெரிய, சிறிய எழுத்து வேறுபாட்டைப் பார்ப்பதில்லை. ஒன்று அல்லது அதற்கு மேற்பட்ட குழுக்கள் கிராலரின் டோக்கனைப் பெயரிட்டால், அவற்றின் விதிகள் இணைக்கப்படுகின்றன,
User-agent: *குழு முழுமையாகப் புறக்கணிக்கப்படுகிறது. பெயரிடப்பட்ட குழு இல்லாத கிராலர் மட்டுமே*-ஐப் பின்பற்றுகிறது. - விதியைத் தேர்ந்தெடுங்கள். URL-உடன் path பொருந்தும்
Allow,Disallowவிதிகளில், அதிக எழுத்துகள் கொண்டது வெல்லும். ஒருAllow-உம் ஒருDisallow-உம் சம நீளமாக இருந்தால்,Allowவெல்ல வேண்டும். - pattern-களைப் படியுங்கள்.
*எந்த எழுத்துத் தொடருடனும் பொருந்தும்,$URL-இன் முடிவைக் குறிக்கிறது. Path-கள் case-sensitive, எனவே/Admin/என்பது/admin/-உடன் பொருந்தாது. - பொருந்தும் விதி இல்லையெனில் அனுமதி.
/robots.txtஎப்போதும் அனுமதிக்கப்படுகிறது.
robots.txt-இன் விதிகளைப் போலவே அதன் response code-உம் முக்கியம். 4xx பதில் என்றால் கிராலர் எல்லாவற்றையும் பெறலாம்; 429 தவிர ஒவ்வொரு 4xx-ஐயும் கோப்பே இல்லாதது போல Google கருதுகிறது. 5xx பதில் என்றால் முழுத் தளமும் மறுக்கப்பட்டதாகக் கிராலர் கருத வேண்டும். Google முதல் 12 மணிநேரம் கிரால் செய்வதை நிறுத்துகிறது, பிறகு 30 நாட்கள் வரை கடைசி நல்ல நகலைப் பயன்படுத்துகிறது. கிராலர்கள் குறைந்தது 500 KiB-ஐ parse செய்ய வேண்டும் என்று RFC 9309 கோருகிறது, 500 KiB-க்குப் பிறகு உள்ள எதையும் Google புறக்கணிக்கிறது.
robots.txt சோதனைக்கு ஒரு எடுத்துக்காட்டைப் படிப்படியாகக் காட்ட முடியுமா?
ஒரு இயல்புநிலைக் குழுவும் பெயரிடப்பட்ட இரண்டு AI கிராலர்களும் கொண்ட சிறிய robots.txt இதோ:
Googlebot,/search/help/billing: அனுமதி. Googlebot குழு இல்லை, எனவே*குழு பொருந்தும்.Disallow: /search,Allow: /search/helpஇரண்டும் பொருந்துகின்றன,Allowவிதி நீளமானது.GPTBot,/blog/post: தடை. GPTBot-க்குச் சொந்தக் குழு உள்ளது,Disallow: /ஒவ்வொரு path-உடனும் பொருந்துகிறது.OAI-SearchBot,/admin/settings: அனுமதி. OAI-SearchBot-க்குச் சொந்தக் குழு உள்ளது, எனவே*குழுவில் உள்ளDisallow: /admin/அதற்குப் பொருந்தாது. இதுவே மிகப் பொதுவான ஆச்சரியம்; பகிரப்பட்ட விதிகளைப் பெயரிடப்பட்ட ஒவ்வொரு குழுவிலும் மீண்டும் எழுதுங்கள்.OAI-SearchBot,/files/report.pdf: தடை.Allow: /ஒரு எழுத்துடன் பொருந்துகிறது,Disallow: /*.pdf$ஏழு எழுத்துகளுடன் பொருந்துகிறது, நீளமான விதி வெல்கிறது.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ சமநிலைகள் அரிது, ஆனால் அதே தர்க்கத்தைப் பின்பற்றுகின்றன. /folder/page URL-க்கு allow: /folder, disallow: /folder என்ற நிலையை Google-இன் ஆவணம் தருகிறது: இரண்டும் சம நீளம், எனவே URL அனுமதிக்கப்படுகிறது.
Google-இன் open-source robots.txt parser-ஐ எப்படி இயக்குவது?
robots.txt விதிகளைப் பொருத்த production-இல் தான் பயன்படுத்தும் C++ நூலகத்தை Google வெளியிடுகிறது; ஒரு உள்ளூர்க் கோப்புக்கு எதிராக ஒரு URL-ஐயும் ஒரு user agent-ஐயும் சோதிக்க ஒரு சிறிய command-line நிரலும் அதில் உண்டு. Bazel நிறுவப்பட்டிருந்தால்:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed repository ஒரு CMake build-ஐயும் ஆவணப்படுத்துகிறது; அது அதே arguments-உடன் robots என்ற binary-ஐ உருவாக்குகிறது. கருவி parse செய்து பொருத்துவது மட்டுமே; robots.txt-ஐப் பதிவிறக்குவதில்லை, எனவே நேரலைக் கோப்பை முதலில் சேமியுங்கள். parse செய்தல், பொருத்துதல் தவிர்த்த கிராலர் சார்ந்த நடத்தை நூலகத்தின் பகுதி அல்ல என்றும் அதன் README குறிப்பிடுகிறது.
Python-இன் urllib.robotparser மூலம் robots.txt-ஐச் சோதிக்க முடியுமா?
Python-இன் standard library-இல் ஒரு user agent-க்கும் URL-க்கும் அனுமதி அல்லது தடை என்று பதில் தரும் parser உள்ளது. இந்த script மேலே உள்ள எடுத்துக்காட்டைச் சோதிக்கிறது:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") வெளியீட்டை நம்பும் முன் உங்கள் Python பதிப்பைச் சரிபாருங்கள். RFC 9309 பொருத்தத்துக்கான ஆதரவு 2026-இல் CPython-இல் சேர்க்கப்பட்டு, முதலில் Python 3.13.14, 3.14.5-இல் வெளியானது. 3.12 மற்றும் அதற்கு முந்தைய அனைத்தும் உட்பட பழைய பதிப்புகள், மிக நீளமானதை அல்ல, கோப்பு வரிசையில் முதலில் பொருந்தும் விதியைப் பொருத்துகின்றன; path-களுக்குள் * அல்லது $-ஐப் புரிந்துகொள்வதில்லை. அந்தப் பதிப்புகளில் script முதல் மற்றும் நான்காவது சோதனைகளைத் தலைகீழாகக் காட்டுகிறது: Googlebot /search/help/billing-இலிருந்து தடுக்கப்பட்டதாகவும், OAI-SearchBot PDF-ஐப் பெற அனுமதிக்கப்பட்டதாகவும்.
மேலும் இரண்டு வேறுபாடுகள் ஒவ்வொரு பதிப்புக்கும் பொருந்தும். RobotFileParser.read() robots.txt-க்கான 401 அல்லது 403 பதிலை எல்லாவற்றுக்கும் தடை என்று கருதுகிறது, ஆனால் 4xx என்றால் எல்லாவற்றையும் பெறலாம் என்று RFC 9309 கூறுகிறது. மேலும் read() கோப்பை Python-இன் இயல்புநிலை user agent-உடன் பதிவிறக்குகிறது, சில ஃபயர்வால்கள் அதைத் தடுக்கின்றன, எனவே உங்கள் விதிகளுடன் தொடர்பில்லாத காரணங்களுக்காகச் சோதனை தடை என்று காட்டலாம். மேலே உள்ளது போல, கோப்பை நீங்களே பெற்று parse()-க்குக் கொடுப்பது இரண்டையும் தவிர்க்கிறது.
robots.txt சோதனை வெற்றியடைந்தும் கிராலர் ஏன் இன்னும் தடுக்கப்படுகிறது?
ஒரு tester ஒரே கேள்விக்குப் பதிலளிக்கிறது: விதிகள் இந்த URL-ஐ அனுமதிக்கின்றனவா? பல விஷயங்கள் அந்தப் பதிலுக்கு வெளியே உள்ளன:
- நேரலைக் கோப்பு நீங்கள் சோதித்ததிலிருந்து வேறுபடுகிறது, அல்லது கிராலர் இன்னும் cache நகலைப் பயன்படுத்துகிறது. கிராலர்கள் cache நகலை 24 மணிநேரத்துக்கு மேல் பயன்படுத்தக்கூடாது என்று RFC 9309 கூறுகிறது, Google பொதுவாக 24 மணிநேரம் வரை cache செய்கிறது.
- robots.txt URL ஒரு HTML பக்கத்தையோ பிழையையோ தருகிறது. நிலை 200 கொண்ட HTML பக்கத்தில் செல்லுபடியான விதிகள் இல்லை, 5xx பதில் முழுத் தளத்தையும் தடுக்கிறது.
- robots.txt ஒரு வேண்டுகோள், அணுகல் கட்டுப்பாடு அல்ல. ஃபயர்வால், CDN அல்லது bot பாதுகாப்பு இன்னும் கிராலருக்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கலாம்.
எல்லா AI கிராலர்களுக்கும் robots.txt-ஐ ஒரே நேரத்தில் எப்படிச் சரிபார்ப்பது?
இலவச AISeeWhy robots.txt சரிபார்ப்புக் கருவி ஒரு பக்க முகவரியையோ ஒட்டப்பட்ட robots.txt-ஐயோ எடுத்து, ஒவ்வொரு AI மற்றும் தேடல் கிராலருக்கும் அந்தப் பக்கத்தைப் பெறலாமா என்று காட்டுகிறது. இலவச robots.txt ஜெனரேட்டர் உங்கள் தேர்வுகளிலிருந்து ஒரு கோப்பை எழுதுகிறது; இலவசச் சரிபார்ப்பு பக்கத்தை 16 கிராலர்களாகப் பெற்று, robots.txt அனுமதிப்பதை ஃபயர்வால் தடுக்கிறதா என்று காட்டுகிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- robots.txt GPTBot-ஐ அனுமதிக்கிறது, ஆனால் சர்வர் அதைத் தடுக்கிறது
- robots.txt OAI-SearchBot-ஐ அனுமதிக்கவில்லை
- robots.txt ஒரு HTML பக்கம்
- robots.txt-ஐப் பெற முடியவில்லை
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Google Search Console-இல் இன்னும் robots.txt tester உள்ளதா?
இல்லை. நவம்பர் 2023-இல் Google அதை robots.txt அறிக்கையால் மாற்றியது; அது Google பெற்ற கோப்புகள், அவற்றின் நிலை, ஏதேனும் பிழைகளைக் காட்டுகிறது. Googlebot ஒரு குறிப்பிட்ட URL-ஐக் கிரால் செய்யலாமா என்று சரிபார்க்க URL Inspection கருவியைப் பயன்படுத்துங்கள்.
robots.txt-இல் Allow, Disallow-ஐ மீறுகிறதா?
Allow விதி நீளமாகவோ சரியாக அதே நீளத்திலோ இருக்கும்போது மட்டுமே. எந்த வகையாக இருந்தாலும், மிக நீளமான பொருந்தும் path கொண்ட விதி வெல்கிறது; சமநிலையில் Allow வெல்கிறது.
robots.txt case-sensitive-ஆ?
ஓரளவு. User-agent மதிப்பு பெரிய, சிறிய எழுத்து வேறுபாடின்றிப் பொருத்தப்படுகிறது, எனவே gptbot, GPTBot ஒரே குழுவைக் குறிக்கின்றன. Path-கள் case-sensitive, எனவே Disallow: /Private/ என்பது /private/-ஐத் தடுக்காது.
robots.txt validator எதைச் சரிபார்க்கிறது?
கோப்பை அடைய முடிகிறதா, உரையாக வழங்கப்படுகிறதா, சரியான syntax-இல் எழுதப்பட்டுள்ளதா என்று validator சரிபார்க்கிறது. tester ஒரு படி மேலே சென்று, ஒரு குறிப்பிட்ட URL-க்கும் கிராலருக்கும் முடிவைத் தருகிறது. பொதுவாக இரண்டும் தேவை, ஏனெனில் செல்லுபடியான கோப்பும் நீங்கள் அனுமதிக்க நினைத்த பக்கத்தைத் தடுக்கலாம்.
ஒரு கிராலருக்குச் சொந்தக் குழு இருந்தால், அது இன்னும் User-agent: *-ஐப் பின்பற்றுமா?
இல்லை. பெயரிடப்பட்ட குழு அந்தக் கிராலருக்கு * குழுவை முழுமையாக மாற்றுகிறது. எல்லாருக்கும் பொருந்த வேண்டிய எந்த விதியையும் பெயரிடப்பட்ட ஒவ்வொரு குழுவிலும் மீண்டும் எழுத வேண்டும்.
மூலங்கள்
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py