როგორ შევამოწმოთ, ბლოკავს თუ არა საიტი AI კრაულერებს

ჩასვით ნებისმიერი მისამართი და ნახეთ, ბლოკავს თუ არა ის GPTBot-ს, ClaudeBot-ს, PerplexityBot-ს და სხვა AI კრაულერებს: robots.txt-ში, ფაირვოლში თუ ორივეგან.

უფასოდ · რეგისტრაციის გარეშე · შედეგი 30 წამში

რომელი კრაულერებია დაბლოკილი

ტრენინგის, საძიებო და მომხმარებლის კრაულერები ცალ-ცალკე ჩანს, რადგან GPTBot-ის დაბლოკვა OAI-SearchBot-ს არ ბლოკავს, ClaudeBot-ის დაბლოკვა კი Claude-SearchBot-ს.

სტრიქონი, რომელიც გადაწყვეტს

თითოეული კრაულერისთვის robots.txt იკითხება RFC 9309-ის წესებით: ჯგუფი, რომელიც მას ასახელებს, ან User-agent: * როგორც სარეზერვო, და წესი, რომელიც იმარჯვებს.

ფაირვოლის უარი

გვერდი მოთხოვნილია როგორც 14 კრაულერით, ისე ჩვეულებრივი ბრაუზერით. ბლოკები და ბოტის შემოწმების გვერდები აღინიშნება და ფაირვოლი, რომელმაც უპასუხა, დასახელებულია.

გამოსწორება ყოველი პრობლემისთვის

ყოველ პრობლემას თან ახლავს შესატანი ცვლილება. უფასო შემოწმება აჩვენებს თქვენს ქულას და პირველ პრობლემას; სრული ანგარიში $29-ია, ერთჯერადად.

მოკლე პასუხი

საიტს AI კრაულერების დაბლოკვა ორ ადგილას შეუძლია: robots.txt-ში, რომელიც კრაულერებს თხოვს, არ შემოვიდნენ, და სერვერზე ან ფაირვოლზე, რომელიც მათ რეალურად უარს ეუბნება. robots.txt-ში მოძებნეთ თითოეული კრაულერის ტოკენი, ხოლო თუ ის არ არის, User-agent: * ჯგუფი, შემდეგ მიიღეთ გვერდი კრაულერის სახელით და შეადარეთ იმას, რასაც ბრაუზერი იღებს. ბრაუზერის გაფართოება robots.txt-ის ნაწილს 16 AI კრაულერისთვის ერთი დაწკაპუნებით აკეთებს.

შეამოწმეთ ხელით 3 ნაბიჯში

  1. აირჩიეთ კრაულერი

    ყველა AI კომპანიას რამდენიმე ცალკე კრაულერი აქვს. ტრენინგის: GPTBot, ClaudeBot. საძიებო: OAI-SearchBot, Claude-SearchBot, PerplexityBot. ადამიანის მოთხოვნით: ChatGPT-User, Claude-User, Perplexity-User.

  2. წაიკითხეთ მისთვის robots.txt

    გახსენით https://example.com/robots.txt და იპოვეთ ჯგუფი, რომელიც კრაულერს ასახელებს. თუ ასეთი ჯგუფი არ არის, მოქმედებს User-agent: * ჯგუფი; თუ არც ის არის, ყველაფერი ნებადართულია.

  3. მიიღეთ გვერდი კრაულერის სახელით

    მოითხოვეთ გვერდი კრაულერის user agent-ით და შეადარეთ სტატუსი და ზომა ბრაუზერისას. 403, ბოტის შემოწმების გვერდი ან გაცილებით პატარა 200 ნიშნავს, რომ ფაირვოლი უარს ეუბნება.

ხშირად დასმული კითხვები

ღიაა თუ არა AI კრაულერებისთვის საიტი, რომელსაც robots.txt არ აქვს?

დიახ, რაც შეეხება robots.txt-ს. robots.txt-ზე 404 ნიშნავს, რომ წესები არ არის, ასე რომ ნებისმიერ კრაულერს ნებისმიერი გვერდის მიღება შეუძლია. ფაირვოლს მაინც შეუძლია კრაულერების დაბლოკვა.

აჩვენებს თუ არა გაფართოება ფაირვოლის ბლოკებს?

არა. ის robots.txt-ს თქვენი ბრაუზერიდან კითხულობს, რაც აჩვენებს, რას სთხოვს საიტი კრაულერებს. ფაირვოლისა და ბოტებისგან დაცვის ბლოკების სანახავად საჭიროა კრაულერის სახელით გაგზავნილი მოთხოვნა, რასაც aiseewhy.com-ის სრული შემოწმება აკეთებს.

შემიძლია შევამოწმო საიტი, რომელიც ჩემი არ არის?

დიახ. robots.txt საჯაროა, და გაფართოება მხოლოდ იმ robots.txt და llms.txt ფაილებს კითხულობს, რომლებსაც საიტი აქვეყნებს, ანუ იმავე ფაილებს, რომლებსაც ყველა კრაულერი კითხულობს.

წაიკითხეთ სრული გზამკვლევი

ცვლილების შემდეგ საკუთარ საიტს ამოწმებთ თუ სხვის საიტს ათვალიერებთ, სანამ მას დაეყრდნობით, კითხვას „ბლოკავს თუ არა ეს საიტი AI კრაულერებს?“ ზუსტი პასუხი აქვს. ის დამოკიდებულია იმაზე, რომელ კრაულერს გულისხმობთ, რადგან AI კომპანიებს ცალკე კრაულერები აქვთ სწავლებისთვის, ძიებისთვის და პირდაპირი ვიზიტებისთვის, და საიტს თითოეულის მიმართ სხვადასხვანაირად მოქცევა შეუძლია. ეს სახელმძღვანელო სამ შემოწმებას აჩვენებს, ყველაზე სწრაფიდან ყველაზე სრულამდე.

სად შეუძლია საიტს AI კრაულერების დაბლოკვა?

არსებობს სამი ფენა, და კრაულერმა გვერდის გამოსაყენებლად სამივე უნდა გაიაროს.

  • robots.txt: წესების საჯარო ფაილი, რომელსაც კეთილსინდისიერი კრაულერები რაიმეს მიღებამდე კითხულობენ. ეს თხოვნაა და არა საკეტი.
  • სერვერი, CDN ან ფაირვოლი: სწორედ ის წყვეტს, რა გაიგზავნება რეალურად. ბოტებისგან დაცვის წესს შეუძლია კრაულერს 403-ით, 429-ით ან ბოტის შემოწმების გვერდით უპასუხოს, მაშინაც კი, როცა robots.txt მას უშვებს.
  • თავად გვერდი: თუ მთავარი ტექსტი მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება, კრაულერი, რომელიც საწყის HTML-ს კითხულობს, თითქმის ცარიელ გვერდს იღებს, თუმცა მას არაფერი დაუბლოკავს.

სწრაფი შემოწმებების უმეტესობა მხოლოდ პირველ ფენას უყურებს. ეს კარგი დასაწყისია, თუ დანარჩენ ორს არ დაივიწყებთ.

როგორ წავიკითხოთ robots.txt ერთი AI კრაულერისთვის?

გახსენით https://example.com/robots.txt ბრაუზერში და იპოვეთ ჯგუფი, რომელიც კრაულერს ეხება. ჯგუფი ერთი ან რამდენიმე User-agent ხაზით იწყება. კრაულერი იყენებს ჯგუფს, რომელშიც მისი ტოკენია დასახელებული, მაგალითად GPTBot; შედარება რეგისტრს არ ითვალისწინებს. თუ მას არცერთი ჯგუფი არ ასახელებს, ის User-agent: * ჯგუფს იყენებს. თუ არც ერთი არსებობს და არც მეორე, ყველაფერი დაშვებულია.

ჯგუფის შიგნით იმარჯვებს წესი ყველაზე გრძელი შესაბამისი ბილიკით, ხოლო როცა Allow და Disallow თანაბარი სიგრძისაა, იმარჯვებს Allow. ამიტომ ქვემოთ მოცემული ფაილი GPTBot-ს მთელ საიტზე ბლოკავს, მაგრამ ყველა სხვა კრაულერს უშვებს:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

ასევე ნახეთ, როგორ პასუხობს ფაილი. RFC 9309-ის მიხედვით, 404 ნიშნავს, რომ წესები არ არის, ანუ ყველაფერი დაშვებულია. სერვერის შეცდომა (5xx) ან პასუხის საერთოდ არარსებობა ნიშნავს, რომ კრაულერმა მთელი საიტი აკრძალულად უნდა ჩათვალოს. robots.txt-ის მისამართი, რომელიც HTML გვერდს აბრუნებს, გავრცელებული შეცდომაა: კრაულერები მასში სწორ წესებს ვერ პოულობენ.

როგორ შევამოწმოთ ყველა AI კრაულერი ერთდროულად?

ფაილის ხელით კითხვა ნელდება, როგორც კი ერთზე მეტი კრაულერი გაინტერესებთ. თითოეულ AI კომპანიას რამდენიმე კრაულერი აქვს, სხვადასხვა ამოცანით:

  • სასწავლო კრაულერები მოდელების სწავლებისთვის აგროვებენ კონტენტს: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, ასევე Google-Extended და Applebot-Extended ტოკენები, რომლებიც მხოლოდ robots.txt-ში გვხვდება.
  • საძიებო კრაულერები გვერდებს ინდექსირებენ, რომ AI პასუხებმა მათი ციტირება შეძლონ: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • მომხმარებლის კრაულერები გვერდს მაშინ იღებენ, როცა ადამიანი ამას ასისტენტს სთხოვს: ChatGPT-User, Claude-User, Perplexity-User.

Chrome-ის უფასო გაფართოება „AI კრაულერების შემოწმება“ ამას ერთი დაწკაპუნებით აკეთებს. გახსენით ნებისმიერი გვერდი, დააწკაპუნეთ ხატულაზე, და ის წაიკითხავს ამ საიტის robots.txt-ს და 16 კრაულერიდან თითოეულისთვის გაჩვენებთ, დაშვებულია თუ არა გვერდი და რომელი ხაზი წყვეტს ამას. ის ასევე აჩვენებს Content-Signal-ის პარამეტრებს, აქვს თუ არა საიტს llms.txt, და robots.txt-ში მითითებულ საიტის რუკებს. ის თქვენს ბრაუზერში მუშაობს, ანგარიშს არ საჭიროებს და მხოლოდ იმ საიტს კითხულობს, რომელზეც მას დააწკაპუნებთ.

Chrome-ის გარეშე aiseewhy.com-ის უფასო robots.txt შემმოწმებელი იმავე პასუხს გაძლევთ თქვენ მიერ ჩასმული URL-ისთვის.

როგორ შევამოწმოთ, ატარებს თუ არა მათ ფაირვოლი?

robots.txt აჩვენებს, რას ითხოვს საიტი. იმის სანახავად, რას იღებს კრაულერი რეალურად, მოითხოვეთ გვერდი ორჯერ, ერთხელ ბრაუზერის სახელით და ერთხელ კრაულერის user agent-ით, და შეადარეთ სტატუსის კოდი და პასუხის ზომა:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

თუ ბრაუზერი 200-ს იღებს, კრაულერი კი 403-ს, 429-ს ან 503-ს, ან გაცილებით პატარა გვერდს, ფაირვოლი ან ბოტებისგან დაცვა კრაულერს სხვანაირად ეპყრობა. ყველა გარე ტესტს ერთი შეზღუდვა აქვს: მოთხოვნა თქვენი ქსელიდან მოდის და არა AI კომპანიის ქსელიდან. ფაირვოლი, რომელიც კრაულერებს მათი გამოქვეყნებული IP მისამართებით ენდობა, ნამდვილ კრაულერს შეიძლება სხვანაირად მოეპყრას, ამიტომ საბოლოო სიტყვა თქვენი სერვერის ლოგებს ეკუთვნის.

aiseewhy.com-ის სრული შემოწმება გვერდს იღებს 16-ვე კრაულერის სახელით, ნამდვილ ბრაუზერთან ერთად, ასახელებს ფაირვოლს ან წესს, რომელიც კრაულერს ბლოკავს, და ადარებს ტექსტს, რომელიც თითოეულმა მიიღო.

რა შედეგისკენ უნდა ვისწრაფოდე?

ეს იმაზეა დამოკიდებული, რა გსურთ. თუ გსურთ, რომ ChatGPT-ის ძიებაში, Claude-სა და Perplexity-ში გციტირონ, საძიებო და მომხმარებლის კრაულერები robots.txt-ში დაშვებული უნდა იყოს და სერვერიდან ნამდვილი გვერდი უნდა მიიღონ. თუ არ გსურთ, რომ თქვენი კონტენტი სწავლებისთვის გამოიყენონ, დაბლოკეთ მხოლოდ სასწავლო ტოკენები. ეს ცალკე გადაწყვეტილებებია: GPTBot-ის დაბლოკვა OAI-SearchBot-ს არ ბლოკავს, ხოლო ClaudeBot-ის დაბლოკვა Claude-SearchBot-ს არ ბლოკავს.

ბევრი საიტი მათ ერთმანეთში ურევს. ჩვენს 2026 წლის ნოემბრის ანგარიშში 1000 ყველაზე პოპულარული დომენის შესახებ, იმ საიტების 63%, რომლებიც სასწავლო კრაულერს ბლოკავენ, ასევე ბლოკავს ერთ AI საძიებო ან მომხმარებლის კრაულერს მაინც, რის გამოც მათი გვერდები ამ AI პასუხებში ვერ ხვდება.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

წყაროები

სხვა სტატიები

გამოქვეყნდა