robots.txt-ის მიღება შეუძლებელია
/robots.txt-ის მიღება ვერ მოხერხდა: სერვერმა უპასუხა 5xx სტატუსით ან 429-ით, ან საერთოდ არ უპასუხა. RFC 9309-ის მიხედვით ასეთ შემთხვევაში კრაულერები მთელ საიტს აკრძალულად მიიჩნევენ. გახადეთ ისე, რომ /robots.txt აბრუნებდეს სტატუსს 200 უბრალო ტექსტით, ან 404-ს, თუ წესები არ გაქვთ.
რას ნიშნავს
robots.txt-მა უპასუხა სტატუსით 403 ან საერთოდ არ უპასუხა. RFC 9309-ის მიხედვით ასეთ შემთხვევაში კრაულერები მთელ საიტს აკრძალულად მიიჩნევენ.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
RFC 9309-ის თანახმად, კრაულერმა, რომელიც სერვერის შეცდომის გამო robots.txt-ს ვერ აღწევს, სრული აკრძალვა უნდა ივარაუდოს. Googlebot, Bingbot და სტანდარტის მიმდევარი AI კრაულერები გვერდების მიღებას წყვეტენ, სანამ robots.txt კვლავ არ უპასუხებს, ამიტომ ერთმა გაფუჭებულმა ფაილმა შეიძლება მთელი საიტი დამალოს.
არარსებული ფაილი სხვა შემთხვევაა: 404 ან სხვა 4xx სტატუსი ნიშნავს, რომ წესები არ არის, ამიტომ ყველაფერი დაშვებულია და AISeeWhy არაფერს აღნიშნავს. პრობლემა მხოლოდ სერვერის შეცდომები, მოთხოვნების ლიმიტები (429) და მოთხოვნებია, რომლებსაც დრო ამოეწურათ ან უარყოფილ იქნა, სანამ რაიმე სტატუსი დაბრუნდებოდა.
როგორ გამოვასწოროთ
- გახსენით
https://your-domain/robots.txtთქვენი ქსელის გარედან და ჩაინიშნეთ სტატუსი. აუდიტი მას ბრაუზერის user agent-ით იღებს. - თუ ეს 5xx-ია, შეამოწმეთ origin-ის მარშრუტი: ისეთი ფრეიმვორკები, როგორიცაა Next.js, მას
public/robots.txt-დან ანapp/robots.ts-დან აწვდიან, WordPress კი დინამიკურად აგენერირებს, ამიტომ PHP-ის შეცდომა მას აფუჭებს. - თუ ეს 429-ია ან დროის ამოწურვა, გაათავისუფლეთ
/robots.txtrate limiting-ისა და ბოტების შემოწმებებისგან თქვენს CDN-ში ან WAF-ში. - დააქეშეთ robots.txt CDN-ზე, რომ მან უპასუხოს მაშინაც, როცა origin ნელა მუშაობს. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.