როგორ შევამოწმო robots.txt-ის წესები URL-ისა და კონკრეტული კრაულერისთვის?
ერთი კრაულერისთვის URL-ის შესამოწმებლად იპოვეთ ჯგუფი, რომელიც კრაულერის ტოკენს ასახელებს (ან User-agent: *, თუ ასეთი არ არის), შეაგროვეთ მასში ყველა Allow და Disallow წესი, რომელიც URL-ის გზას ემთხვევა, და გამოიყენეთ ყველაზე გრძელი; თანაბრობისას Allow იმარჯვებს. ამის გაკეთება შეგიძლიათ ხელით, Google-ის ღია კოდის პარსერით ან შემმოწმებლით, რომელიც თითოეული კრაულერისთვის ვერდიქტს აჩვენებს. Google Search Console-ის ძველი robots.txt Tester აღარ არსებობს, ხოლო robots.txt-ის რეპორტი, რომელმაც ის შეცვალა, აჩვენებს, რა მიიღო Google-მა, და არა ვერდიქტს URL-ისთვის.
robots.txt ფაილი მარტივი ჩანს, სანამ ზუსტი პასუხი არ დაგჭირდებათ: შეუძლია თუ არა GPTBot-ს ამ გვერდის მიღება, და შეუძლია თუ არა OAI-SearchBot-ს? პასუხი დამოკიდებულია იმაზე, რომელ ჯგუფს აირჩევს კრაულერი და ამ ჯგუფის რომელი წესი იმარჯვებს, და ორივე ნაბიჯში შეცდომა ადვილია. აქ ნახავთ, როგორ მუშაობს დამთხვევა RFC 9309-ის მიხედვით, ოთხ განხილულ მაგალითს და ფაილის თავად შემოწმების სამ გზას.
ამ გვერდზე
- რა მოუვიდა robots.txt Tester-ს Google Search Console-ში?
- როგორ წყვეტს კრაულერი, დაშვებულია თუ არა URL?
- შეგიძლიათ robots.txt-ის ტესტის მაგალითი განიხილოთ?
- როგორ გავუშვა Google-ის ღია კოდის robots.txt პარსერი?
- შემიძლია robots.txt შევამოწმო Python-ის urllib.robotparser-ით?
- რატომ გადის robots.txt-ის ტესტი, კრაულერი კი მაინც დაბლოკილია?
- როგორ შევამოწმო robots.txt ყველა AI კრაულერისთვის ერთდროულად?
რა მოუვიდა robots.txt Tester-ს Google Search Console-ში?
2023 წლის ნოემბერში Google-მა Search Console-ში robots.txt-ის რეპორტი დაამატა და განაცხადა, რომ robots.txt-ის ტესტერს ეტაპობრივად თიშავდა. რეპორტი პარამეტრებშია და მხოლოდ Google-ის კრაულერებს ფარავს. ის აჩვენებს:
- robots.txt ფაილებს, რომლებიც Google-მა თქვენი რესურსის 20 მთავარი ჰოსტისთვის იპოვა.
- თითოეული ფაილის მიღების სტატუსს (
Fetched,Not Fetched - Not found (404)ანNot Fetched - Any other reason), როდის შეამოწმა ის Google-მა ბოლოს და მის ზომას ბაიტებში. - ფაილში არსებულ პრობლემებს. Google-ის თქმით, შეცდომები წესის გამოყენებას ხელს უშლის, გაფრთხილებები კი არა.
- ბოლო 30 დღეში Google-ის მიერ მიღებულ ვერსიებს და ღილაკს ხელახალი კრაულინგის მოთხოვნისთვის ფაილის გამოსწორების შემდეგ.
რეპორტი URL-ს არ იღებს და არ პასუხობს „დაშვებულია“ ან „დაბლოკილია“. Googlebot-ისთვის ერთი URL-ის შესამოწმებლად Google URL-ის შემოწმების ხელსაწყოზე მიუთითებს, ლოკალური ტესტირებისთვის კი თავის ღია კოდის robots.txt ბიბლიოთეკაზე. არცერთი არაფერს გეტყვით AI კრაულერებზე, როგორიცაა GPTBot ან ClaudeBot.
როგორ წყვეტს კრაულერი, დაშვებულია თუ არა URL?
დამთხვევას RFC 9309, Robots Exclusion Protocol, განსაზღვრავს. Google იმავე ქცევას აღწერს თავისი კრაულერებისთვის.
- აირჩიეთ ჯგუფი. user-agent-ის დამთხვევა რეგისტრს არ არჩევს. თუ ერთი ან მეტი ჯგუფი კრაულერის ტოკენს ასახელებს, მათი წესები ერთიანდება, ხოლო
User-agent: *ჯგუფი მთლიანად იგნორირდება.*-ს მხოლოდ ის კრაულერი მიჰყვება, რომელსაც საკუთარი ჯგუფი არ აქვს. - აირჩიეთ წესი. იმ
AllowდაDisallowწესებს შორის, რომელთა გზაც URL-ს ემთხვევა, იმარჯვებს ყველაზე მეტი სიმბოლოს მქონე. თუAllowდაDisallowთანაბარი სიგრძისაა,Allowუნდა გაიმარჯვოს. - წაიკითხეთ შაბლონები.
*სიმბოლოების ნებისმიერ მიმდევრობას ემთხვევა, ხოლო$URL-ის დასასრულს აღნიშნავს. გზები რეგისტრს არჩევს, ამიტომ/Admin/არ ემთხვევა/admin/-ს. - თუ შესაბამისი წესი არ არის, URL დაშვებულია. თავად
/robots.txtყოველთვის დაშვებულია.
robots.txt-ის პასუხის კოდს ისეთივე მნიშვნელობა აქვს, როგორც მის წესებს. 4xx პასუხი ნიშნავს, რომ კრაულერს ყველაფრის მიღება შეუძლია; Google ყველა 4xx-ს, გარდა 429-ისა, ისე ეპყრობა, თითქოს ფაილი არ არსებობდეს. 5xx პასუხი ნიშნავს, რომ კრაულერმა მთელი საიტი დაბლოკილად უნდა ჩათვალოს. Google პირველი 12 საათის განმავლობაში კრაულინგს წყვეტს, შემდეგ კი 30 დღემდე ბოლო კარგ ასლს იყენებს. RFC 9309 კრაულერებისგან მინიმუმ 500 KiB-ის დამუშავებას მოითხოვს, ხოლო Google 500 KiB-ის შემდეგ ყველაფერს იგნორირებს.
შეგიძლიათ robots.txt-ის ტესტის მაგალითი განიხილოთ?
აი, პატარა robots.txt ნაგულისხმევი ჯგუფით და ორი დასახელებული AI კრაულერით:
Googlebotდა/search/help/billing: დაშვებულია. Googlebot-ის ჯგუფი არ არის, ამიტომ მოქმედებს*ჯგუფი. ემთხვევა როგორცDisallow: /search, ისეAllow: /search/help, დაAllowწესი უფრო გრძელია.GPTBotდა/blog/post: დაბლოკილია. GPTBot-ს საკუთარი ჯგუფი აქვს, დაDisallow: /ყველა გზას ემთხვევა.OAI-SearchBotდა/admin/settings: დაშვებულია. OAI-SearchBot-ს საკუთარი ჯგუფი აქვს, ამიტომ*ჯგუფისDisallow: /admin/მასზე არ ვრცელდება. ეს ყველაზე გავრცელებული სიურპრიზია; საერთო წესები ყოველ დასახელებულ ჯგუფში გაიმეორეთ.OAI-SearchBotდა/files/report.pdf: დაბლოკილია.Allow: /ერთი სიმბოლოთი ემთხვევა,Disallow: /*.pdf$შვიდით, და უფრო გრძელი წესი იმარჯვებს.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ თანაბრობა უფრო იშვიათია, მაგრამ იმავე ლოგიკას მიჰყვება. Google-ის დოკუმენტაცია მოჰყავს allow: /folder და disallow: /folder წესების მაგალითი URL-ისთვის /folder/page: ორივე ერთი სიგრძისაა, ამიტომ URL დაშვებულია.
როგორ გავუშვა Google-ის ღია კოდის robots.txt პარსერი?
Google აქვეყნებს C++ ბიბლიოთეკას, რომელსაც წარმოებაში robots.txt-ის წესების დასამთხვევად იყენებს, პატარა ბრძანების ხაზის პროგრამით, რომელიც ერთ URL-სა და ერთ user agent-ს ლოკალური ფაილის მიმართ ამოწმებს. Bazel-ის დაყენების შემდეგ:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed რეპოზიტორია ასევე აღწერს CMake-ით აწყობას, რომელიც robots სახელის ბინარულ ფაილს იმავე არგუმენტებით ქმნის. ხელსაწყო მხოლოდ პარსავს და ამთხვევს; ის robots.txt-ს არ ჩამოტვირთავს, ამიტომ ჯერ მოქმედი ფაილი შეინახეთ. მის README-ში ასევე აღნიშნულია, რომ კრაულერის სპეციფიკური ქცევა პარსინგისა და დამთხვევის მიღმა ბიბლიოთეკის ნაწილი არ არის.
შემიძლია robots.txt შევამოწმო Python-ის urllib.robotparser-ით?
Python-ის სტანდარტულ ბიბლიოთეკაში არის პარსერი, რომელიც user agent-ისა და URL-ისთვის პასუხობს „დაშვებულია“ ან „დაბლოკილია“. ეს სკრიპტი ზემოთ მოცემულ მაგალითს ამოწმებს:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") შედეგს სანამ ენდობით, Python-ის ვერსია შეამოწმეთ. RFC 9309-ის დამთხვევის მხარდაჭერა CPython-ს 2026 წელს დაემატა და პირველად Python 3.13.14-სა და 3.14.5-ში გამოვიდა. ძველი ვერსიები, მათ შორის მთელი 3.12 და უფრო ადრეული, ფაილის თანმიმდევრობით პირველ შესაბამის წესს იყენებენ და არა ყველაზე გრძელს, და გზებში *-სა და $-ს ვერ იგებენ. ამ ვერსიებზე სკრიპტი პირველ და მეოთხე ტესტს პირიქით აფასებს: Googlebot დაბლოკილია /search/help/billing-დან, OAI-SearchBot-ს კი PDF-ის მიღების უფლება აქვს.
კიდევ ორი განსხვავება ყველა ვერსიას ეხება. RobotFileParser.read() robots.txt-ზე 401 ან 403 პასუხს ყველაფრის აკრძალვად აღიქვამს, მაშინ როცა RFC 9309-ის მიხედვით 4xx ნიშნავს, რომ ყველაფრის მიღება შეიძლება. გარდა ამისა, read() ფაილს Python-ის ნაგულისხმევი user agent-ით ჩამოტვირთავს, რომელსაც ზოგი ფაირვოლი ბლოკავს, ამიტომ ტესტმა შეიძლება „დაბლოკილი“ აჩვენოს თქვენს წესებთან დაუკავშირებელი მიზეზით. ფაილის თავად მიღება და parse()-ზე გადაცემა, როგორც ზემოთ, ორივე პრობლემას აგაცილებთ.
რატომ გადის robots.txt-ის ტესტი, კრაულერი კი მაინც დაბლოკილია?
ტესტერი ერთ კითხვას პასუხობს: უშვებს თუ არა წესები ამ URL-ს? რამდენიმე რამ ამ პასუხის მიღმაა:
- მოქმედი ფაილი განსხვავდება იმისგან, რომელიც შეამოწმეთ, ან კრაულერი ჯერ კიდევ ქეშირებულ ასლს იყენებს. RFC 9309-ის მიხედვით კრაულერებმა ქეშირებული ასლი 24 საათზე მეტ ხანს არ უნდა გამოიყენონ, ხოლო Google ზოგადად 24 საათამდე ინახავს ქეშს.
- robots.txt-ის URL HTML გვერდს ან შეცდომას აბრუნებს. 200 სტატუსიანი HTML გვერდი ვალიდურ წესებს არ შეიცავს, ხოლო 5xx პასუხი მთელ საიტს ბლოკავს.
- robots.txt თხოვნაა და არა წვდომის კონტროლი. ფაირვოლს, CDN-ს ან ბოტებისგან დაცვას მაინც შეუძლია კრაულერს 403-ით ან ჩელენჯის გვერდით უპასუხოს.
როგორ შევამოწმო robots.txt ყველა AI კრაულერისთვის ერთდროულად?
AISeeWhy-ის უფასო robots.txt-ის შემმოწმებელი იღებს გვერდის მისამართს ან ჩასმულ robots.txt-ს და თითოეული AI და საძიებო კრაულერისთვის აჩვენებს, შეიძლება თუ არა ამ გვერდის მიღება. უფასო robots.txt-ის გენერატორი თქვენი არჩევანით ფაილს წერს, ხოლო უფასო შემოწმება გვერდს 16 კრაულერის სახელით იღებს, რომ აჩვენოს, ბლოკავს თუ არა ფაირვოლი იმას, რასაც robots.txt უშვებს.
ამ პრობლემის გამოსწორებები
- robots.txt უშვებს GPTBot-ს, მაგრამ სერვერი ბლოკავს
- robots.txt კრძალავს OAI-SearchBot-ს
- robots.txt HTML გვერდია
- robots.txt-ის მიღება შეუძლებელია
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
არის თუ არა ჯერ კიდევ robots.txt-ის ტესტერი Google Search Console-ში?
არა. Google-მა ის 2023 წლის ნოემბერში robots.txt-ის რეპორტით შეცვალა, რომელიც აჩვენებს Google-ის მიერ მიღებულ ფაილებს, მათ სტატუსს და შეცდომებს. იმის შესამოწმებლად, შეუძლია თუ არა Googlebot-ს კონკრეტული URL-ის კრაულინგი, გამოიყენეთ URL-ის შემოწმების ხელსაწყო.
აუქმებს თუ არა Allow-ი Disallow-ს robots.txt-ში?
მხოლოდ მაშინ, როცა Allow წესი უფრო გრძელია ან ზუსტად იგივე სიგრძისაა. იმარჯვებს წესი ყველაზე გრძელი შესაბამისი გზით, მიუხედავად მისი ტიპისა, ხოლო თანაბრობისას Allow იმარჯვებს.
არჩევს თუ არა robots.txt რეგისტრს?
ნაწილობრივ. User-agent-ის მნიშვნელობა რეგისტრის გაუთვალისწინებლად ემთხვევა, ამიტომ gptbot და GPTBot ერთსა და იმავე ჯგუფს ასახელებს. გზები რეგისტრს არჩევს, ამიტომ Disallow: /Private/ არ ბლოკავს /private/-ს.
რას ამოწმებს robots.txt-ის ვალიდატორი?
ვალიდატორი ამოწმებს, რომ ფაილი ხელმისაწვდომია, ტექსტად მიეწოდება და ვალიდური სინტაქსითაა დაწერილი. ტესტერი უფრო შორს მიდის და კონკრეტული URL-ისა და კრაულერისთვის ვერდიქტს იძლევა. ჩვეულებრივ ორივე გჭირდებათ, რადგან ვალიდურმა ფაილმაც შეიძლება დაბლოკოს გვერდი, რომლის დაშვებაც გინდოდათ.
თუ კრაულერს საკუთარი ჯგუფი აქვს, მიჰყვება თუ არა ის მაინც User-agent: *-ს?
არა. დასახელებული ჯგუფი ამ კრაულერისთვის * ჯგუფს მთლიანად ცვლის. ნებისმიერი წესი, რომელიც ყველაზე უნდა ვრცელდებოდეს, ყოველ დასახელებულ ჯგუფში უნდა გაიმეოროთ.
წყაროები
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py