2 გვერდმა შემოვლაზე უარი თქვა
ამ გვერდებმა უპასუხეს 401, 403, 429 ან 503 კოდით, ან დრო ამოეწურათ, როცა აუდიტმა ისინი ბრაუზერის სახელით მიიღო. ეს ხშირად ფაირვოლი, ბოტებისგან დაცვა ან მოთხოვნების ლიმიტია და არა გაფუჭებული გვერდი. შეამოწმეთ, იღებენ თუ არა საძიებო და AI კრაულერები იგივე პასუხს.
რას ნიშნავს
ამ გვერდებმა უპასუხეს 401, 403, 429 ან 503 სტატუსით, ან დრო ამოეწურათ. შესაძლოა, ფაირვოლი ან მოთხოვნების ლიმიტი კრაულერებსაც აჩერებს; შეამოწმეთ, იღებენ თუ არა საძიებო და AI კრაულერები იგივე პასუხს.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
აუდიტი ერთი სერვერიდან მოკლე დროში ბევრ გვერდს იღებს, ამიტომ მოთხოვნების ლიმიტმა შეიძლება 429-ით ან 503-ით უპასუხოს მაშინაც, როცა ადამიანები გვერდს იღებენ. თუ იგივე წესი საძიებო და AI კრაულერებზეც ვრცელდება, ეს გვერდები მათი ინდექსებისთვის არ მიიღება და AI პასუხებში ვერ იქნება ციტირებული.
401 ნიშნავს, რომ გვერდს შესვლა სჭირდება, რაც მოსალოდნელია ანგარიშის განყოფილებებისთვის, მაგრამ არა საჯარო კონტენტისთვის. 503 ყველა გვერდზე შეიძლება ნიშნავდეს, რომ ტექნიკური მომსახურების რეჟიმი ჩართული დარჩა. ეს გვერდები გაფუჭებული ბმულებისგან ცალკეა, რადგან გამოსწორება იმაზეა დამოკიდებული, ვის ეთქვა უარი.
როგორ გამოვასწოროთ
- გახსენით ჩამოთვლილი URL-ებიდან რამდენიმე ბრაუზერის პირად ფანჯარაში. თუ ისინი იტვირთება, ბლოკირება ავტომატიზებულ მოთხოვნებზეა მიმართული.
- მოძებნეთ უარყოფილი მოთხოვნები თქვენი ფაირვოლის, CDN-ის ან ჰოსტინგის ლოგებში. დარწმუნდით, რომ დადასტურებული საძიებო კრაულერები, როგორებიცაა Googlebot და Bingbot, და თქვენთვის სასურველი AI საძიებო კრაულერები დაშვებულია; ბევრ CDN-ს, მათ შორის Cloudflare-ს, დადასტურებული ბოტებისთვის პარამეტრი აქვს.
- თუ ეს მოთხოვნების ლიმიტმა გამოიწვია, გაზარდეთ ლიმიტი ჩვეულებრივი გვერდის მოთხოვნებისთვის ან HTML გვერდები მისგან გამორიცხეთ.
- თუ გვერდები 401-ით პასუხობენ, მოხსენით შესვლის მოთხოვნა საჯარო გვერდებს, ან საჯარო გვერდებიდან პირად გვერდებზე ბმულები აღარ მიუთითოთ.
- ხელახლა გაუშვით საიტის აუდიტი თქვენი ანგარიშიდან, რომ შედეგი დაადასტუროთ.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.