sitemap-ის მიღება შეუძლებელია (სტატუსი 403)
sitemap გამოცხადებულია ან მოსალოდნელია, მაგრამ მისი მიღება ჩავარდა შეცდომით, 401, 403, 429 ან 5xx სტატუსით, ამიტომ კრაულერებმაც შეიძლება ვერ წაიკითხონ ის. აუდიტი მას ბრაუზერის სახელით იღებს. გახადეთ sitemap-ის URL საჯარო და გაათავისუფლეთ ის ბოტების შემოწმებებისა და მოთხოვნების ლიმიტებისგან.
რას ნიშნავს
sitemap მოიძებნა, მაგრამ მან უპასუხა სტატუსით 403 ან არ უპასუხა, ამიტომ, სავარაუდოდ, კრაულერებიც ვერ გამოიყენებენ მას. შეამოწმეთ, რომ ფაირვოლი კრაულერებს მის მიღებას აძლევს.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
sitemap, რომელიც 403-ს ან სერვერის შეცდომას აბრუნებს, იგივეა, რაც არარსებული: კრაულერები მისგან ახალი ან შეცვლილი გვერდების შესახებ ვერ იგებენ. ბოტებისგან დაცვა გავრცელებული მიზეზია, რადგან sitemap-ის მოთხოვნები თითქმის მთლიანად კრაულერებისგან მოდის, რომელთა შესაჩერებლადაც ეს წესებია შექმნილი.
დიდი sitemap-ები, რომლებიც ყოველ მოთხოვნაზე გენერირდება, შეიძლება ასევე დროის ამოწურვას ან სერვერის ლიმიტებს წააწყდეს, რაც 5xx სტატუსად ჩანს. რადგან აუდიტი ფაილს ბრაუზერის სახელით იღებს, აქ ჩავარდნა ჩვეულებრივ ნიშნავს, რომ კრაულერებიც უარყოფილია.
როგორ გამოვასწოროთ
- გახსენით sitemap-ის URL რეპორტიდან და ჩაინიშნეთ სტატუსი. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
- თქვენს CDN-ში ან WAF-ში გაათავისუფლეთ sitemap-ის გზები (მაგალითად
/sitemap*.xml) შემოწმებებისგან, Bot Fight Mode-ისა და rate limiting-ისგან. - თუ ის staging-ის მსგავს კონფიგურაციაზე ავთენტიფიკაციის მიღმაა, გახადეთ ის საჯარო production ჰოსტზე.
- 5xx შეცდომებისთვის დააქეშეთ გენერირებული sitemap ან წინასწარ ააგეთ ის სტატიკურ ფაილად, ხოლო ძალიან დიდი sitemap-ები sitemap ინდექსით დაყავით.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.