OAI-SearchBot დაბლოკილია

მოკლე პასუხი

ამ კრაულერის user agent-ით გაგზავნილი მოთხოვნა უარყოფილ იქნა: მან მიიღო 4xx ან 5xx სტატუსი, Cloudflare-ის cf-mitigated ჰედერი ან ბოტის შემოწმების გვერდი, მაშინ როცა ჩვეულებრივი ბრაუზერის მოთხოვნამ გვერდი მიიღო. იპოვეთ ფაირვოლის, CDN-ის ან ბოტების წესი, რომელიც ამ user agent-ს ემთხვევა, და გაატარეთ კრაულერი.

access.blocked · პრიორიტეტი: P1–P3, კრაულერის ტიპის მიხედვით

რას ნიშნავს

მოთხოვნამ OAI-SearchBot-ის user agent-ით მიიღო სტატუსი 403 ან ბოტის შემოწმების გვერდი, ბრაუზერმა კი გვერდი მიიღო. შემოწმება ჩატარდა დაუდასტურებელი IP-დან: ეს აჩვენებს, როგორ ეპყრობა თქვენი ფაირვოლი ამ user agent-ს; რეალურ კრაულერს მისი დადასტურებული IP-ებიდან შეიძლება სხვაგვარად მოეპყრას.

რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის

საძიებო და მომხმარებლის კრაულერები, როგორებიცაა OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot და Perplexity-User, გვერდებს იღებენ პასუხების და მათ ქვეშ მოცემული ბმულების შესაქმნელად. თუ ისინი 403-ს ან ბოტის შემოწმების გვერდს მიიღებენ, გვერდის ციტირება ან მასზე ბმულის მითითება შეუძლებელია, რაც არ უნდა კარგი იყოს ის. ამიტომ AISeeWhy ამ კრაულერების დაბლოკვას P1-ად აფასებს.

სასწავლო კრაულერები (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3-ად ფასდება: მათი დაბლოკვა პოლიტიკის არჩევანია და არა შეცდომა. შემოწმება სრულდება დაუდასტურებელი IP-დან, ამიტომ ის აჩვენებს, როგორ ეპყრობა თქვენი წესები user agent-ს; რეალურ კრაულერს, რომელიც მისი გამოქვეყნებული IP დიაპაზონებიდან მოდის, შეიძლება სხვაგვარად მოეპყრას.

როგორ გამოვასწოროთ

  1. გახსენით მიგნება, რომ ნახოთ, რომელი კრაულერი დაიბლოკა, რა სტატუსი მიიღო და რომელი WAF აღმოაჩინა აუდიტმა. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
  2. Cloudflare-ზე შეამოწმეთ Security → Events დაბლოკილი მოთხოვნისთვის, შემდეგ დაამატეთ WAF-ის custom rule, რომელიც კრაულერს ემთხვევა (verified bots ან მისი user agent ტოკენი), მოქმედებით Skip დანარჩენი custom rules-ისთვის, Super Bot Fight Mode-ისა და rate limiting-ისთვის. AI Crawl Control-ში კრაულერისთვის დააყენეთ Allow.
  3. Vercel-ზე, Akamai-ზე, Imperva-ზე, Sucuri-ზე ან AWS WAF-ზე იპოვეთ ბოტების მართვის ან managed წესი, რომელიც ამოქმედდა, და დაამატეთ გამონაკლისი კრაულერისთვის, სასურველია მომწოდებლის გამოქვეყნებული IP დიაპაზონებით ან reverse DNS-ით დადასტურებული და არა მხოლოდ user agent-ით.
  4. nginx-ზე ან Apache-ზე მოძებნეთ კონფიგურაციაში deny, return 403 ან RewriteCond %{HTTP_USER_AGENT} ხაზები, რომლებიც კრაულერს ასახელებენ, ხოლო WordPress-ში შეამოწმეთ უსაფრთხოების პლაგინები, რომლებიც „ცუდ ბოტებს“ ბლოკავენ.
  5. გადაწყვიტეთ თითოეული კრაულერისთვის ცალკე: საძიებო და მომხმარებლის კრაულერების დაშვება უზრუნველყოფს გვერდების ციტირებას, სასწავლო კრაულერები კი შეიძლება დაბლოკილი დარჩეს, თუ ეს თქვენი პოლიტიკაა.

მაგალითი

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

როგორ დავრწმუნდეთ, რომ გამოსწორდა

ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.

ჩემი გვერდის შემოწმება →

დაკავშირებული სახელმძღვანელოები

ყველა მიგნება და როგორ მუშაობს ქულა