robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
შეიყვანეთ გვერდის მისამართი: წავიკითხავთ საიტის robots.txt-ს და ვაჩვენებთ, თითოეული AI და საძიებო კრაულერისთვის, შეუძლია თუ არა მას ამ გვერდის მიღება. ან ჩასვით robots.txt, რომ გამოქვეყნებამდე შეამოწმოთ.
robots.txt მხოლოდ თხოვნაა. ფაირვოლს ან ბოტებისგან დაცვას მაინც შეუძლია დაბლოკოს კრაულერი, რომელსაც robots.txt უშვებს; სრული შემოწმება სწორედ ამას ამოწმებს. სრული შემოწმების გაშვება →
თითოეული კრაულერი მიჰყვება ჯგუფს, რომელშიც მისი ტოკენია დასახელებული (მაგალითად GPTBot ან PerplexityBot); მხოლოდ თუ ასეთი ჯგუფი არ არის, მიჰყვება User-agent: *-ს. ჯგუფის შიგნით იმარჯვებს ყველაზე გრძელი შესაბამისი წესი, ხოლო თანაბრობისას — Allow. სასწავლო კრაულერების, მაგალითად GPTBot-ის, ClaudeBot-ის ან Google-Extended-ის, დაბლოკვა თქვენს კონტენტს მოდელების სწავლებას არიდებს; საძიებო და მომხმარებლის კრაულერების, მაგალითად OAI-SearchBot-ის, ChatGPT-User-ის ან PerplexityBot-ის, დაბლოკვა კი თქვენს გვერდებს AI პასუხებს არიდებს.
სახელმძღვანელო
როგორ გამოვიყენოთ robots.txt-ის ტესტერი
ეს ტექსტი ინგლისურიდან მანქანური თარგმანით არის თარგმნილი.
რას ამოწმებს ეს robots.txt-ის ტესტერი
შეიყვანეთ გვერდის მისამართი. ტესტერი იღებს ამ მისამართის სქემასა და ჰოსტს, კითხულობს /robots.txt-ს ამ ჰოსტის ძირიდან და აფასებს მის წესებს თქვენი გვერდის გზისთვის. ის 16 კრაულერიდან თითოეულისთვის ერთ კითხვას პასუხობს: შეუძლია თუ არა ამ კრაულერს ამ გვერდის მიღება?
კრაულერები დაჯგუფებულია იმის მიხედვით, რას აკეთებენ. სასწავლო კრაულერები გვერდებს AI მოდელებისთვის აგროვებენ: GPTBot, ClaudeBot, CCBot, Bytespider და Meta-ExternalAgent, ასევე მხოლოდ robots.txt-ში მოქმედი ტოკენები Google-Extended და Applebot-Extended, რომლებიც თავად არასდროს სტუმრობენ საიტს, მაგრამ Google-სა და Apple-ს ეუბნებიან, შეუძლიათ თუ არა უკვე მიღებული გვერდების გამოყენება. საძიებო კრაულერები ქმნიან ინდექსებს, რომლებსაც AI პასუხები და ძიების შედეგები ციტირებენ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot და Applebot. მომხმარებლის აგენტები გვერდს მაშინ იღებენ, როცა ადამიანი ასისტენტს მის გახსნას სთხოვს: ChatGPT-User, Claude-User და Perplexity-User.
მისამართის ნაცვლად შეგიძლიათ robots.txt ჩასვათ. მაშინ არაფერი იტვირთება: ტესტერი აფასებს თქვენ მიერ ჩასმულ ტექსტს, ასე რომ ცვლილების გამოცდა გამოქვეყნებამდე შეგიძლიათ. ჩასმული ტექსტი მხოლოდ პასუხისთვის გამოიყენება და არ ინახება.
როგორ წავიკითხოთ შედეგები
ცხრილში თითო კრაულერს თითო სტრიქონი აქვს. თქვენი გზის სვეტში წერია „დაშვებულია“ ან „დაბლოკილია“. ბოლო სვეტი გვიჩვენებს, ფაილის რომელმა ნაწილმა გადაწყვიტა:
საკუთარი ჯგუფი: ფაილში არის User-agent სტრიქონი ამ კრაულერის ტოკენით და მისთვის მხოლოდ ამ ჯგუფის წესები მოქმედებს.
User-agent: *: არცერთი ჯგუფი არ ასახელებს კრაულერს, ამიტომ ის საერთო ჯგუფს მიჰყვება.
წესი არ არის: არცერთი ჯგუფი არ ვრცელდება, ამიტომ გვერდი დაშვებულია.
ცხრილის ქვემოთ ჩანს ფაილში მითითებული Sitemap სტრიქონები და მისი Content-Signal სტრიქონი, თუ ასეთი აქვს. თუ მისამართმა ტექსტური ფაილის ნაცვლად ვებგვერდი დააბრუნა ან საერთოდ არაფერი, ტესტერი ამას გეტყვით: კრაულერები HTML გვერდს /robots.txt-ზე არარსებულ ფაილად მიიჩნევენ.
სტრიქონი „დაშვებულია“ მხოლოდ იმას ნიშნავს, რომ robots.txt ამ კრაულერს არ აჩერებს. ეს არ ნიშნავს, რომ კრაულერი გვერდს ესტუმრება, და თქვენს ფაირვოლზე არაფერს ამბობს.
როგორ ირჩევს კრაულერი თავის წესებს
RFC 9309, robots.txt-ის სტანდარტი, სამ წესს ადგენს, რომლებიც თითქმის ყველა მოულოდნელ შედეგს ხსნის. კრაულერი ჯერ ეძებს ჯგუფებს, რომელთა User-agent მის ტოკენს ემთხვევა, რეგისტრის გაუთვალისწინებლად. თუ პოულობს, მხოლოდ ამ ჯგუფებს მიჰყვება და User-agent: *-ს სრულად უგულებელყოფს. არჩეულ ჯგუფში იმარჯვებს წესი ყველაზე გრძელი შესაბამისი გზით, ხოლო თუ Allow და Disallow ერთნაირი სიგრძით ემთხვევა, იმარჯვებს Allow.
ამ ფაილით GPTBot ყველა გვერდზე დაბლოკილია, რადგან მას საკუთარი ჯგუფი აქვს. ყველა სხვა კრაულერს შეუძლია /private/press/kit.pdf-ის მიღება, რადგან Allow: /private/press/ უფრო გრძელია, ვიდრე Disallow: /private/, და /private/notes/-ზე დაბლოკილია. გამოსცადეთ ორივე გზა ტესტერში და დაინახავთ, როგორ გადადის გადაწყვეტილება ერთი ჯგუფიდან მეორეზე.
გავრცელებული შეცდომები, მაგალითებით
ერთმანეთის ქვეშ დაწერილი User-agent სტრიქონები ერთ ჯგუფს ქმნიან. ფაილი, რომელშიც არის User-agent: GPTBot, შემდეგ User-agent: OAI-SearchBot, შემდეგ Disallow: /, ორივე კრაულერს ბლოკავს, ასე რომ საიტი, რომელსაც სწავლების შეჩერება სურდა, ChatGPT-ის ძიებიდანაც ქრება.
OpenAI-ის არასწორი ტოკენის დაბლოკვა. GPTBot სასწავლო მონაცემებს აგროვებს; OAI-SearchBot წყვეტს, შეუძლია თუ არა ChatGPT-ის ძიებას თქვენი ჩვენება და ციტირება. OAI-SearchBot-ის ან ChatGPT-User-ის დაბლოკვა სწავლების შესაჩერებლად პასუხებიდან გაგრიცხავთ.
ერთი სიმბოლო წესს საპირისპიროდ აქცევს. Disallow:, რომლის შემდეგაც არაფერი წერია, ყველაფერს უშვებს; Disallow: / ყველაფერს ბლოკავს.
გზები რეგისტრს არჩევს. Disallow: /Blog/ არ ბლოკავს /blog/-ს.
ვაილდკარდებს სიფრთხილე სჭირდება. Disallow: /*.pdf ასევე ბლოკავს /file.pdf?download=1-ს; Disallow: /*.pdf$ ბლოკავს მხოლოდ მისამართებს, რომლებიც .pdf-ით მთავრდება.
ფაილი არასწორ ჰოსტზეა. robots.txt მოქმედებს მხოლოდ იმ სქემისა და ჰოსტისთვის, საიდანაც მიეწოდება, ამიტომ www.example.com-ს, example.com-სა და shop.example.com-ს თითოეულს საკუთარი ფაილი სჭირდება.
სერვერი შეცდომით პასუხობს. 4xx პასუხი ნიშნავს, რომ კრაულერებს ყველაფრის მიღება შეუძლიათ. 5xx პასუხი ან ტაიმაუტი ნიშნავს, რომ მათ უნდა ჩათვალონ, რომ ყველაფერი აკრძალულია, სანამ ფაილის წაკითხვა ისევ შესაძლებელი არ გახდება, ასე რომ გაფუჭებულმა /robots.txt-მა შეიძლება ყველა კრაულინგი შეაჩეროს.
წესები, რომლებსაც კრაულერები არ მიჰყვებიან. Noindex: და Crawl-delay: RFC 9309-ის ნაწილი არ არის და Google ორივეს უგულებელყოფს.
მოლოდინი, რომ robots.txt გვერდს ძიებიდან ამოიღებს. ის აჩერებს კრაულინგს და არა ინდექსაციას: დაბლოკილი მისამართი შეიძლება მაინც გამოჩნდეს სიაში, მისი ტექსტის გარეშე. გვერდის ინდექსის გარეთ დასატოვებლად დაუშვით კრაულინგი და გამოიყენეთ noindex მეტატეგი ან ჰედერი.
სასწავლო, საძიებო და მომხმარებლის კრაულერები: რას იწვევს თითოეულის დაბლოკვა
სასწავლო კრაულერის დაბლოკვა პოლიტიკის არჩევანია. ის თქვენს გვერდებს მოდელების მომავალი სწავლებისგან იცავს და არ მოქმედებს იმაზე, შეუძლია თუ არა AI ძიებას თქვენი ციტირება დღეს. საძიებო კრაულერის, მაგალითად OAI-SearchBot-ის, Claude-SearchBot-ის ან PerplexityBot-ის დაბლოკვა თქვენს გვერდებს ამ ასისტენტის პასუხებიდან გამორიცხავს. Googlebot-ის ან Bingbot-ის დაბლოკვა გაგრიცხავთ ამ საძიებო სისტემებიდან და მათზე აგებული AI ფუნქციებიდან.
მომხმარებლის აგენტები, მაგალითად ChatGPT-User, მოქმედებენ ადამიანის სახელით, რომელმაც თქვენი გვერდი მოითხოვა. ზოგიერთი მომწოდებლის თქმით, ასეთი მოთხოვნებისას ეს აგენტები შეიძლება robots.txt-ს არ მიჰყვებოდნენ, ამიტომ მათთვის დაწერილი წესი თხოვნაა და არა გარანტია. თუ გსურთ, რომ სწავლება გამორთული იყოს და AI ძიება ჩართული, დაბლოკეთ სასწავლო ტოკენები, ხოლო საძიებო და მომხმარებლის ტოკენები ხელუხლებლად დატოვეთ.
გამოსცადეთ გამოქვეყნებამდე და შემდეგ ისევ
ჩასვით თქვენი მონახაზი ტესტერში, მიუთითეთ მნიშვნელოვანი გვერდის გზა, მაგალითად პროდუქტის ან ფასების გვერდის, და წაიკითხეთ ყველა თქვენთვის საინტერესო კრაულერის სტრიქონი. გაიმეორეთ იმ გზით, რომლის დაბლოკვაც გინდოდათ. როცა შედეგები თქვენს განზრახვას ემთხვევა, გამოაქვეყნეთ ფაილი და ტესტერი ისევ გაუშვით რეალური მისამართით: ეს ადასტურებს, რომ სერვერი თქვენ მიერ რედაქტირებულ ფაილს აბრუნებს.
კრაულერები robots.txt-ს ქეშში ინახავენ; Google, მაგალითად, თავის ასლს ჩვეულებრივ 24 საათში განაახლებს. ცვლილების მათ ქცევაში გამოჩენას შეიძლება ერთი დღე დასჭირდეს, ხოლო Google Search Console-ის robots.txt-ის ანგარიში აჩვენებს ასლს, რომელიც Google-მა ბოლოს მიიღო.
როცა robots.txt კრაულერს უშვებს, ის კი მაინც დაბლოკილია
robots.txt მხოლოდ თხოვნაა. ფაირვოლს, ბოტებისგან დაცვის სერვისს ან CDN-ის წესს მაინც შეუძლია კრაულერს 403-ით ან ჩელენჯის გვერდით უპასუხოს, მაშინ როცა ადამიანები გვერდს იღებენ. ტესტერი ამას ვერ ხედავს, რადგან მხოლოდ ერთ ფაილს კითხულობს. სრული შემოწმება თქვენს გვერდს თითოეული კრაულერის user agent-ით იღებს, ჩვეულებრივ ბრაუზერთან ერთად, და გაჩვენებთ, რომელი კრაულერი იღებს განსხვავებულ პასუხს, HTTP სტატუსითა და ფაირვოლის ხელმოწერით.
ხშირად დასმული კითხვები
ეს იგივეა, რაც Google-ის robots.txt Tester?
არა. Google-მა თავისი ცალკე robots.txt Tester 2023 წელს გააუქმა; Search Console-ის robots.txt-ის ანგარიში ახლა აჩვენებს Google-ის მიერ მიღებულ ფაილს და პარსინგის შეცდომებს, მხოლოდ Google-ის კრაულერებისთვის. ეს ტესტერი იმავე RFC 9309-ის წესებს ერთდროულად 16 AI და საძიებო კრაულერზე იყენებს.
ნიშნავს თუ არა „დაშვებულია“, რომ კრაულერი ჩემს გვერდს წაიკითხავს ან ციტირებას გაუკეთებს?
არა. ეს ნიშნავს, რომ robots.txt ამას არ კრძალავს. მიიღებს თუ არა კრაულერი გვერდს, დამოკიდებულია თქვენს სერვერსა და ფაირვოლზე, ხოლო ციტირებს თუ არა მას ასისტენტი, დამოკიდებულია თქვენს კონტენტსა და დასმულ კითხვაზე.
რატომ წერია კრაულერთან „წესი არ არის“?
თქვენს ფაილში არ არის ჯგუფი მისი ტოკენისთვის და არ არის User-agent: * ჯგუფი, ამიტომ მასზე არაფერი ვრცელდება და ყველა გზა დაშვებულია.
შემიძლია გამოვცადო robots.txt, რომელიც ჯერ არ არის გამოქვეყნებული?
დიახ. ჩასვით ტექსტი მეორე ველში და შეიყვანეთ შესამოწმებელი გზა. თქვენი საიტიდან არაფერი იტვირთება და ჩასმული ტექსტი არ ინახება.
აგზავნის თუ არა ტესტერი მოთხოვნებს GPTBot-ის ან სხვა კრაულერების სახელით?
არა. ის მხოლოდ კითხულობს თქვენს robots.txt-ს და იყენებს წესებს. იმის სანახავად, რას იღებს სინამდვილეში თითოეული კრაულერი თქვენი სერვერიდან, გაუშვით სრული შემოწმება.
რამდენად ხშირად შემიძლია მისი გამოყენება?
ის უფასოა და ანგარიშს არ საჭიროებს. ყველასთვის ხელმისაწვდომი რომ დარჩეს, თითოეულ ქსელს საათში შეზღუდული რაოდენობის ტესტის გაშვება შეუძლია.