ჩასვით IP მისამართი თქვენი სერვერის ლოგებიდან, რომ ნახოთ, შედის თუ არა ის კრაულერის ოფიციალურად გამოქვეყნებულ IP დიაპაზონებში. მოთხოვნა, რომელიც თავს GPTBot-ს ან PerplexityBot-ს უწოდებს, მაგრამ სხვა მისამართიდან მოდის, ეს კრაულერი არ არის, და შეგიძლიათ დაბლოკოთ ის AI პასუხებში ხილვადობის დაკარგვის გარეშე.
რომელი კრაულერები აქვეყნებენ თავიანთ IP მისამართებს?
OpenAI, Perplexity, Google, Microsoft და Apple თავიანთი კრაულერების IP დიაპაზონებს JSON ფაილებად აქვეყნებენ, რომლებსაც ყოველდღე ვკითხულობთ. ზოგი სხვა AI კომპანია დიაპაზონებს არ აქვეყნებს; მათთვის ერთადერთი შემოწმება reverse DNS ან მწარმოებლის დოკუმენტაციაა. ლოგში AI კრაულერების ყველა ვიზიტის ერთბაშად სანახავად ატვირთეთ ლოგი თქვენს AISeeWhy ანგარიშში.
ეს ტექსტი ინგლისურიდან მანქანური თარგმანით არის თარგმნილი.
რას აკეთებს ეს IP-ის შემოწმება
ჩასვით ერთი IPv4 ან IPv6 მისამართი თქვენი სერვერის ან ფაირვოლის ლოგებიდან. შემოწმება მას ეძებს IP დიაპაზონებში, რომლებსაც კრაულერების ოპერატორები თავად აქვეყნებენ: OpenAI GPTBot-ისთვის, OAI-SearchBot-ისა და ChatGPT-User-ისთვის, Perplexity PerplexityBot-ისა და Perplexity-User-ისთვის, Google Googlebot-ისთვის, Microsoft Bingbot-ისთვის და Apple Applebot-ისთვის. ამ გამოქვეყნებულ სიებს ყოველდღე ვკითხულობთ. პასუხი ასახელებს ყველა კრაულერს, რომლის დიაპაზონებიც ამ მისამართს შეიცავს, ან ამბობს, რომ არცერთი არ შეიცავს.
როგორ წავიკითხოთ შედეგი
კრაულერის გამოქვეყნებულ დიაპაზონებშია: მოთხოვნა ამ ოპერატორის ქსელიდან მოვიდა. შესაბამის user agent-თან ერთად ეს ძლიერი მტკიცებულებაა, რომ ეს ნამდვილი კრაულერი იყო.
არცერთ გამოქვეყნებულ დიაპაზონში არ არის: თუ მოთხოვნა ჩამოთვლილ კრაულერებად ერთ-ერთად ასაღებდა თავს, ეს ასე არ იყო. სახელი სხვამ გამოიყენა და ამ მისამართის დაბლოკვა AI პასუხებში ხილვადობის დაკარგვის გარეშე შეგიძლიათ.
შემოწმდა: კრაულერების სია, რომელთა დიაპაზონებიც შედარდა. კრაულერი, რომელიც ამ სიაში არ არის, აქ ვერც დადასტურდება და ვერც გამოირიცხება.
რატომ შეუძლია ნებისმიერს თავი GPTBot-ად გაასაღოს
user agent ტექსტის სტრიქონია, რომელსაც კლიენტი აგზავნის, და მასში GPTBot-ის ან Googlebot-ის ჩაწერა ნებისმიერს შეუძლია. სკრეიპერები ამას მარტივი ფილტრების გვერდის ავლით აკეთებენ. ამიტომ ფაირვოლები, რომლებიც მხოლოდ user agent-ს უყურებენ, ორივე მიმართულებით შეიძლება მოტყუვდნენ: ისინი ყალბ კრაულერებს უშვებენ, ან ყალბი კრაულერის წინააღმდეგ დაწერილი წესი ნამდვილსაც ბლოკავს. IP მისამართის შედარება ოპერატორის გამოქვეყნებულ სიასთან სწორედ ის გზაა, რითაც მათ ერთმანეთისგან განასხვავებთ.
კრაულერებისთვის, რომელთა ოპერატორები ჩვენ მიერ წაკითხულ დიაპაზონს არ აქვეყნებენ, გამოიყენეთ ოპერატორის საკუთარი დოკუმენტაცია. Google, Microsoft და Apple ასევე DNS შემოწმებას უჭერენ მხარს: მოძებნეთ მისამართის ჰოსტის სახელი, შეამოწმეთ, რომ ის ოპერატორის დომენით მთავრდება, მაგალითად googlebot.com, google.com, search.msn.com ან applebot.apple.com, შემდეგ ეს ჰოსტის სახელი ისევ მოძებნეთ და დარწმუნდით, რომ იგივე მისამართს აბრუნებს.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
გავრცელებული შეცდომები
კრაულერის სახელით დაბლოკვა ყალბისგან ბოროტად გამოყენების დანახვის შემდეგ. სანაცვლოდ დაბლოკეთ მოძალადე მისამართები, თორემ ნამდვილ კრაულერსაც დაკარგავთ.
ნებისმიერი მოთხოვნის დაშვება, რომლის user agent-შიც GPTBot წერია. თქვენს ფაირვოლის წესში user agent გამოქვეყნებულ დიაპაზონებთან ერთად გამოიყენეთ.
პროქსის მისამართის შემოწმება. CDN-ის ან დატვირთვის ბალანსერის უკან თქვენმა სერვერმა შეიძლება ვიზიტორის ნაცვლად პროქსი ჩაწეროს ლოგში; გამოიყენეთ ჰედერი, რომელიც კლიენტის მისამართს ატარებს.
დიაპაზონების ძველი ასლის შენახვა. ოპერატორები მათ ცვლიან; რამდენიმე თვის წინანდელი სიიდან აგებულმა წესებმა შეიძლება ნამდვილი კრაულერები დაბლოკოს.
ერთი მისამართიდან მთელ ლოგამდე
ეს შემოწმება ერთ ჯერზე ერთ მისამართზე პასუხობს. თქვენს AISeeWhy ანგარიშში სერვერის ლოგის შემოწმება ფასიან გეგმებზე მთელ წვდომის ლოგს კითხულობს, ითვლის თითოეული AI კრაულერის ვიზიტებს, ამ გამოქვეყნებული დიაპაზონებით ნამდვილ კრაულერებს თვითმარქვიებისგან გამოყოფს და აჩვენებს, როგორ უპასუხა მათ თქვენმა სერვერმა.
ხშირად დასმული კითხვები
ჩანს თუ არა ClaudeBot ამ შემოწმებაში?
ამ ეტაპზე არა: შემოწმება მოიცავს კრაულერებს, რომელთა გამოქვეყნებული დიაპაზონების ფაილებს ვკითხულობთ, და ისინი შედეგის ქვემოთ არის ჩამოთვლილი. სხვა კრაულერებისთვის ოპერატორის დოკუმენტაციას მიჰყევით.
მისამართი Googlebot-ის დიაპაზონშია, მაგრამ user agent სხვა რამეს ამბობს. რას ნიშნავს ეს?
მოთხოვნა Google-ის ქსელიდან მოვიდა. Google რამდენიმე კრაულერსა და fetcher-ს იყენებს; user agent გეტყვით, რომელს. ეს არ იყო მესამე მხარე, რომელიც Google-ად ასაღებდა თავს.
შემიძლია ბევრი მისამართის ერთდროულად შემოწმება?
ამ უფასო ხელსაწყოთი არა. ატვირთეთ ლოგი თქვენს ანგარიშში, რომ მასში არსებული ყველა ვიზიტი შეამოწმოთ.
ინახება თუ არა ჩემ მიერ შეყვანილი მისამართი?
ის შემოწმებაზე პასუხისთვის გამოიყენება და თქვენს მოთხოვნასთან ერთად არ ინახება.