OAI-SearchBot დაბლოკილია
ამ კრაულერის user agent-ით გაგზავნილი მოთხოვნა უარყოფილ იქნა: მან მიიღო 4xx ან 5xx სტატუსი, Cloudflare-ის cf-mitigated ჰედერი ან ბოტის შემოწმების გვერდი, მაშინ როცა ჩვეულებრივი ბრაუზერის მოთხოვნამ გვერდი მიიღო. იპოვეთ ფაირვოლის, CDN-ის ან ბოტების წესი, რომელიც ამ user agent-ს ემთხვევა, და გაატარეთ კრაულერი.
რას ნიშნავს
მოთხოვნამ OAI-SearchBot-ის user agent-ით მიიღო სტატუსი 403 ან ბოტის შემოწმების გვერდი, ბრაუზერმა კი გვერდი მიიღო. შემოწმება ჩატარდა დაუდასტურებელი IP-დან: ეს აჩვენებს, როგორ ეპყრობა თქვენი ფაირვოლი ამ user agent-ს; რეალურ კრაულერს მისი დადასტურებული IP-ებიდან შეიძლება სხვაგვარად მოეპყრას.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
საძიებო და მომხმარებლის კრაულერები, როგორებიცაა OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot და Perplexity-User, გვერდებს იღებენ პასუხების და მათ ქვეშ მოცემული ბმულების შესაქმნელად. თუ ისინი 403-ს ან ბოტის შემოწმების გვერდს მიიღებენ, გვერდის ციტირება ან მასზე ბმულის მითითება შეუძლებელია, რაც არ უნდა კარგი იყოს ის. ამიტომ AISeeWhy ამ კრაულერების დაბლოკვას P1-ად აფასებს.
სასწავლო კრაულერები (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3-ად ფასდება: მათი დაბლოკვა პოლიტიკის არჩევანია და არა შეცდომა. შემოწმება სრულდება დაუდასტურებელი IP-დან, ამიტომ ის აჩვენებს, როგორ ეპყრობა თქვენი წესები user agent-ს; რეალურ კრაულერს, რომელიც მისი გამოქვეყნებული IP დიაპაზონებიდან მოდის, შეიძლება სხვაგვარად მოეპყრას.
როგორ გამოვასწოროთ
- გახსენით მიგნება, რომ ნახოთ, რომელი კრაულერი დაიბლოკა, რა სტატუსი მიიღო და რომელი WAF აღმოაჩინა აუდიტმა. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
- Cloudflare-ზე შეამოწმეთ Security → Events დაბლოკილი მოთხოვნისთვის, შემდეგ დაამატეთ WAF-ის custom rule, რომელიც კრაულერს ემთხვევა (verified bots ან მისი user agent ტოკენი), მოქმედებით Skip დანარჩენი custom rules-ისთვის, Super Bot Fight Mode-ისა და rate limiting-ისთვის. AI Crawl Control-ში კრაულერისთვის დააყენეთ Allow.
- Vercel-ზე, Akamai-ზე, Imperva-ზე, Sucuri-ზე ან AWS WAF-ზე იპოვეთ ბოტების მართვის ან managed წესი, რომელიც ამოქმედდა, და დაამატეთ გამონაკლისი კრაულერისთვის, სასურველია მომწოდებლის გამოქვეყნებული IP დიაპაზონებით ან reverse DNS-ით დადასტურებული და არა მხოლოდ user agent-ით.
- nginx-ზე ან Apache-ზე მოძებნეთ კონფიგურაციაში
deny,return 403ანRewriteCond %{HTTP_USER_AGENT}ხაზები, რომლებიც კრაულერს ასახელებენ, ხოლო WordPress-ში შეამოწმეთ უსაფრთხოების პლაგინები, რომლებიც „ცუდ ბოტებს“ ბლოკავენ. - გადაწყვიტეთ თითოეული კრაულერისთვის ცალკე: საძიებო და მომხმარებლის კრაულერების დაშვება უზრუნველყოფს გვერდების ციტირებას, სასწავლო კრაულერები კი შეიძლება დაბლოკილი დარჩეს, თუ ეს თქვენი პოლიტიკაა.
მაგალითი
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.
დაკავშირებული სახელმძღვანელოები
- როგორ წავიკითხოთ Cloudflare AI Crawl Control-ის რეპორტი და ვნახოთ, რომელი AI კრაულერები შემოდიან
- ბლოკავს თუ არა Cloudflare AI კრაულერებს? როგორ გავარკვიოთ და გამოვასწოროთ
- ხედავს თუ არა ChatGPT ჩემს საიტს? როგორ შევამოწმოთ
- 12 AEO შემოწმება, რომელიც გვერდის გამოქვეყნებამდე უნდა გაუშვათ (2027)
- SEO 2.0: როგორ შეცვალეს AI ძიებამ და ასისტენტებმა SEO, ფენა-ფენა