ბიზნეს-საიტების ოთხიდან ერთზე მეტი AI კრაულერებს უარს ეუბნება
აშშ-ის, დიდი ბრიტანეთისა და საფრანგეთის 165 ბიზნეს-საიტის აუდიტში 38%-მა სერვერის დონეზე მინიმუმ ერთ AI კრაულერს უარი უთხრა, თითქმის ყოველთვის სწავლებისთვის განკუთვნილ ან სკრეიპერ ბოტს. ყოველ მეათე საიტზე AI საძიებო კრაულერსაც, მაგალითად PerplexityBot-ს ან OAI-SearchBot-ს, ეუბნებოდნენ უარს. სწორედ ეს კრაულერები შეიძლება მივიდნენ ციტირებამდე. შეამოწმეთ თქვენი საიტი თითო კრაულერზე ერთი მოთხოვნით.
ChatGPT-ს თქვენი პროდუქტის შესახებ ეკითხებით და ის კონკურენტს, მიმოხილვების საიტსა და ფორუმის თემას ასახელებს. ზოგჯერ ეს შინაარსის საკითხია. ხშირად კი ფაიერვოლი AI კრაულერებს უარს ეუბნება. თქვენი გუნდი ამას ვერ ამჩნევს, რადგან საიტი ბრაუზერში მუშაობს.
ამ გვერდზე
რა შევამოწმეთ?
ერთსა და იმავე მისამართიდან გვერდს რამდენჯერმე ვითხოვთ: ერთხელ ჩვეულებრივი ბრაუზერის სახით და თითო-თითოჯერ 14 AI და საძიებო კრაულერის სახით, მათ შორის OpenAI-ის GPTBot, OAI-SearchBot და ChatGPT-User, Anthropic-ის ClaudeBot და Claude-SearchBot და Perplexity-ის PerplexityBot. თუ ბრაუზერი გვერდს იღებს, კრაულერი კი 401, 403, 406, 429, 451, 503 კოდს ან გამოწვევის გვერდს, საიტი ამ კრაულერს უარს ეუბნება.
ნიმუშში 218 ბიზნეს-საიტია აშშ-ში, დიდ ბრიტანეთსა და საფრანგეთში. აუდიტი 2026 წლის 18-21 ნოემბერს ჩატარდა. სრული ტესტი 165 საიტზე შევძელით. დანარჩენმა 53-მა უარი თქვა ჩვეულებრივ ბრაუზერულ მოთხოვნაზეც ან არ გვიპასუხა, ამიტომ ვარაუდის ნაცვლად ისინი გამოვტოვეთ.
რა აღმოვაჩინეთ?
- შესამოწმებელი საიტების 38%-მა (165-დან 63-მა) მინიმუმ ერთ AI კრაულერს უთხრა უარი.
- ამ საიტებიდან თითოეულმა მინიმუმ ერთ სწავლების ან სკრეიპერ კრაულერს უარი უთხრა.
Bytespiderსაიტების 35%-მა არ შეუშვა,ClaudeBot13%-მა,GPTBotკი 11%-მა. - საიტების 10%-მა (16) მინიმუმ ერთ AI საძიებო კრაულერსაც უთხრა უარი, 5%-მა (8) კი ისეთ კრაულერს, რომელიც გვერდს რეალურ დროში ხსნის, როცა ადამიანი ასისტენტს ამ გვერდზე ეკითხება.
- ყველაზე მნიშვნელოვანი საძიებო კრაულერები იყო
PerplexityBot(11 საიტი) დაOAI-SearchBot(5 საიტი). - Cloudflare იდგა იმ 66 საიტიდან 32-ის უკან, რომლებმაც ნებისმიერ ტესტირებულ კრაულერს უარი უთხრეს. კიდევ 30-ზე ვერ დავადგინეთ, რომელმა ფაიერვოლმა უპასუხა.
რატომ ხდება ეს და როდის არის ეს არჩევანი?
ბევრი ეს შესაძლოა შეგნებული იყოს. ბევრ მფლობელს არ სურს, რომ მისი შინაარსი მოდელების გასაწვრთნელად გამოიყენონ, სკრეიპერების დამბლოკავი ბოტდაცვის პარამეტრები კი მარტივად ირთვება. ეს სამართლიანი არჩევანია.
პრობლემა ისაა, რომ AI კომპანიები სწავლებისა და ძიებისთვის ცალკე კრაულერებს იყენებენ. სწავლების კრაულერის დასაბლოკად საძიებოს დაბლოკვა საჭირო არ არის, საძიებო კრაულერი კი ისაა, რომელმაც შეიძლება თქვენი გვერდი პასუხში დააციტიროს.
უკეთ არიან დიდი საიტები?
ნამდვილად არა. 1000 ყველაზე პოპულარულ დომენზე ჩვენი robots.txt ანგარიშით, robots.txt-ის მქონე საიტების 29.9% მინიმუმ ერთ AI სწავლების კრაულერს ბლოკავს, მათგან 63.2% კი მინიმუმ ერთ AI საძიებო ან მომხმარებლის კრაულერსაც. მხოლოდ 11.0% ბლოკავს სწავლებას და ყველა AI საძიებო კრაულერს უშვებს, რაც სავარაუდოდ უმრავლესობას სურდა.
როგორ შევამოწმო ჩემი საიტი ათ წუთში?
- გახსენით
yoursite.com/robots.txt. თითოეული თქვენთვის მნიშვნელოვანი AI კრაულერისთვის ნახეთ, ასახელებს თუ არა მას რომელიმე ჯგუფი და რას ამბობს. კრაულერის დამასახელებელი ჯგუფი ზოგად*ჯგუფს მთლიანად ცვლის. - შეამოწმეთ, რას აკეთებს სერვერი და არა რას წერია ფაილში. მთავარი გვერდი მოითხოვეთ ბრაუზერის და კრაულერის სახით. 403, 429, გვერდი სათაურით
Just a moment...ან ბრაუზერის პასუხზე გაცილებით პატარა პასუხი ფაიერვოლის ბლოკის ნიშანია. - ჰკითხეთ ასისტენტს. ძიების ჩართვით ჰკითხეთ ChatGPT-ს ან Perplexity-ს ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, და ნახეთ, რომელ საიტებს ციტირებს. თუ წვდომა წესრიგშია და მაინც არ ჩანხართ, პრობლემა შინაარსშია და არა წვდომაში.
რამდენად საიმედოა ეს რიცხვები?
განიხილეთ ისინი როგორც ტენდენცია და არა აღწერა. ნიმუში შემთხვევითი არ არის: ეს კომპანიები ვიპოვეთ რეკლამის ბიბლიოთეკებით, ვაკანსიების საიტებითა და რუკის ჩანაწერებით. ვამოწმებთ user agent-ით ერთი მისამართიდან, რეალური კრაულერები კი მომწოდებლების გამოქვეყნებული მისამართებიდან მოდიან, ამიტომ ზოგი ფაიერვოლი რეალურებს სხვანაირად მოეპყრობოდა. გარდა ამისა, ბლოკი ყოველთვის შეცდომა არ არის.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
საიტების რა წილი ბლოკავს AI კრაულერებს?
ჩვენს აუდიტში 165 შესამოწმებელი ბიზნეს-საიტიდან 38%-მა სერვერის დონეზე მინიმუმ ერთ AI კრაულერს უთხრა უარი, ძირითადად სწავლების და სკრეიპერ ბოტებს. დაახლოებით 10%-მა AI საძიებო კრაულერსაც უარი უთხრა.
GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-ის ძიებიდან გამორიცხავს?
არა. OpenAI აცხადებს, რომ მისი კრაულერების თითოეული robots.txt პარამეტრი დამოუკიდებელია: GPTBot სწავლებას ეხება, OAI-SearchBot კი ChatGPT-ის ძიებას. ერთის დაბლოკვა მეორეს არ ბლოკავს.
როგორ შეუძლია საიტს კრაულერის დაბლოკვა robots.txt-ის გარეშე?
ფაიერვოლის, CDN-ის ან ბოტდაცვის წესს შეუძლია კრაულერს უპასუხოს 403-ით, 429-ით ან გამოწვევის გვერდით. robots.txt ამას ვერ აჩვენებს, ამიტომ გვერდი კრაულერის სახით უნდა მოითხოვოთ.
კრაულერისთვის უარის თქმა ყოველთვის შეცდომაა?
არა. ბევრ მფლობელს სურს სწავლების კრაულერებისა და სკრეიპერების გარეთ დატოვება. შეცდომაა საძიებო კრაულერების შემთხვევით დაბლოკვა, რადგან სწორედ ისინი შეიძლება თქვენს გვერდს ციტირებდნენ.
წყაროები
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა
- Perplexity: Perplexity-ის კრაულერები
- Cloudflare: AI კრაულერების მართვა (AI Crawl Control)