ყველაზე პოპულარული 10 000 საიტის robots.txt წავიკითხეთ. აი, რას აკეთებენ ისინი AI კრაულერებთან დაკავშირებით

გამოქვეყნდა

მოკლე პასუხი

Tranco-ს top 10 000-ში შემავალი იმ 6 192 დომენიდან, რომლებიც robots.txt-ს აბრუნებენ, 23,2% ბლოკავს AI სწავლების მინიმუმ ერთ კრაულერს, 12,3% კი AI ძიების ან მომხმარებლის მინიმუმ ერთ კრაულერს. სწავლების ამკრძალავი საიტების 51,6% AI ძიებასაც ბლოკავს. სწავლებაზე უარს ამბობს და AI ძიების ყველა კრაულერს უშვებს მხოლოდ 11,2%.

ნოემბერში ყველაზე პოპულარული 1 000 დომენის robots.txt წავიკითხეთ. ამჯერად იგივე მეთოდით 10 000 დომენი გავიარეთ და დავამატეთ შემოწმება იმისა, თუ როგორ იცვლება სურათი მცირე საიტებზე გადასვლისას. მთავარი დასკვნა რჩება: სწავლების და ძიების დაბლოკვა ერთ გადაწყვეტილებად აღიქმება, თუმცა ეს ორი სხვადასხვა გადაწყვეტილებაა.

ამ გვერდზე
  1. როგორ გავზომეთ?
  2. რა აღმოვაჩინეთ?
  3. რომელი კრაულერები იბლოკება ყველაზე ხშირად?
  4. დიდი საიტები უფრო მეტს ბლოკავენ?
  5. შეიცვალა რამე 12 ნოემბრის ანგარიშის შემდეგ?
  6. რას ნიშნავს ეს თქვენი robots.txt-ისთვის?
  7. რამდენად სანდოა ეს რიცხვები?

როგორ გავზომეთ?

ავიღეთ Tranco სიის (სიის ID JZWZY) top 10 000 დომენი და 2026 წლის 21 ნოემბერს თითოეული დომენის მთავარი გვერდი, robots.txt და llms.txt ერთხელ ჩამოვტვირთეთ AISeeWhy-ის საკუთარი user agent-ით. თითოეული robots.txt შევაფასეთ RFC 9309-ის მიხედვით მთავარი გვერდისთვის (/) და 16 AI და საძიებო კრაულერისთვის.

10 000 დომენიდან 6 192-მა მოგვცა robots.txt (წარმატებული პასუხი, რომელიც HTML გვერდი არ არის). 1 121-მა უპასუხა 4xx-ით, რაც ნიშნავს, რომ წესები არ არის და ყველა კრაულერი დაშვებულია, 2 687-მა კი ვერ მოგვცა (არ არის HTTPS საიტი, შეცდომები, ვადის ამოწურვა ან HTML გვერდი). ქვემოთ ყველა პროცენტი 6 192-დან არის გამოთვლილი. სიაში შედის CDN-ები და API-ები, რომლებიც საიტს არ ემსახურებიან.

რა აღმოვაჩინეთ?

რომელი კრაულერები იბლოკება ყველაზე ხშირად?

იმ 6 192 დომენის წილი, რომელთა robots.txt კრაულერს მთავარ გვერდზე უკრძალავს წვდომას:

დიდი საიტები უფრო მეტს ბლოკავენ?

დიახ, და სწავლებასა და ძიებას უფრო ხშირად ურევენ ერთმანეთში. სია რანგის მიხედვით დავყავით:

შერჩევითი გზა ყველა ზომაზე იშვიათია: სამ ჯგუფში დომენების 10,5%, 10,4% და 11,5%.

შეიცვალა რამე 12 ნოემბრის ანგარიშის შემდეგ?

პირველი 1 000 დომენი იგივე სიით თავიდან გავუშვით. შედეგი დაახლოებით ერთი პროცენტული პუნქტის ფარგლებში სტაბილურია: 28,6% ბლოკავს სწავლებას (12 ნოემბერს 29,9%), 18,6% ბლოკავს AI ძიებას (19,5%), სწავლების მბლოკავთა 63,1% AI ძიებასაც ბლოკავს (63,2%). მნიშვნელები ოდნავ განსხვავდება (ახლა 560 დომენი robots.txt-ით, მაშინ 518), რადგან ამჯერად ჩამოტვირთვამდე დომენის გადამისამართებას მის მთავარ ჰოსტამდე ვადევნებთ.

რას ნიშნავს ეს თქვენი robots.txt-ისთვის?

AI კომპანიების უმეტესობა სწავლებისა და ძიებისთვის ცალკე კრაულერებს აღწერს და ამბობს, რომ პარამეტრები დამოუკიდებელია. GPTBot-ის აკრძალვა OAI-SearchBot-ს არ ეხება, ClaudeBot-ის აკრძალვა კი Claude-SearchBot-ს. თუ გსურთ სწავლებაზე უარი თქვათ და მაინც იყოთ ციტირებადი, დაბლოკეთ სწავლების ტოკენები და დაუშვით ძიებისა და მომხმარებლის ტოკენები. კერძო გზები კი თითოეულ ჯგუფში გაიმეორეთ, რადგან დასახელებული ჯგუფი *-დან არაფერს იღებს.

რამდენად სანდოა ეს რიცხვები?

ეს მთავარი გვერდისთვის robots.txt-ის წესებია, რომელიც ერთმა პარსერმა ერთ დღეს წაიკითხა. ისინი არ ზომავენ firewall-ის ბლოკირებებს, რომლებსაც შეუძლიათ უარი უთხრან კრაულერს, რომელსაც robots.txt უშვებს. ისინი ვერ გვეუბნებიან, რა სურდა თითოეულ საიტს, ხოლო Tranco-ს სიაში შედის დომენები, რომლებიც საიტს არ ემსახურებიან. ძიების კრაულერის დამბლოკავი წესი შეცდომის დასტური არ არის, მხოლოდ არჩევანისა, რომელიც ხშირად განსხვავების გაუცნობიერებლად კეთდება. რიცხვების ციტირება შეგიძლიათ ამ გვერდის ბმულით.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

პოპულარული საიტების რა წილი ბლოკავს AI კრაულერებს?

Tranco-ს top 10 000-ის იმ 6 192 დომენიდან, რომლებიც robots.txt-ს აბრუნებენ, 23,2% ბლოკავს AI სწავლების მინიმუმ ერთ კრაულერს, 12,3% კი AI ძიების ან მომხმარებლის მინიმუმ ერთ კრაულერს.

AI სწავლებას მბლოკავი საიტები AI ძიებასაც ბლოკავენ?

ხშირად. სწავლების კრაულერის მბლოკავი საიტების 51,6% AI ძიების ან მომხმარებლის მინიმუმ ერთ კრაულერსაც ბლოკავს, მიუხედავად იმისა, რომ მწარმოებლები მათ ცალკე კრაულერებად აღწერენ დამოუკიდებელი პარამეტრებით.

რომელი AI კრაულერი იბლოკება ყველაზე ხშირად?

სწავლების კრაულერებს შორის Bytespider (18,7%) და CCBot (18,5%), შემდეგ GPTBot (17,4%). AI ძიების კრაულერებს შორის ყველაზე ხშირად PerplexityBot იბლოკება, დომენების 10,4%-ზე.

რატომ განსხვავდება რიცხვები თქვენი 1 000 საიტის ანგარიშისგან?

პირველი 1 000 დომენი თითქმის იმავე პროცენტებს იძლევა (28,6% და 18,6% 29,9%-ისა და 19,5%-ის წინააღმდეგ). 10 000 საიტის მაჩვენებლები უფრო დაბალია, რადგან მცირე საიტები ნაკლებს ბლოკავენ.

წყაროები

სხვა სტატიები