robots.txt HTML გვერდია
/robots.txt მისამართი HTML დოკუმენტს აბრუნებს, ჩვეულებრივ 404 გვერდს ან მთავარ გვერდს სტატუსით 200. კრაულერები HTML-დან ვერცერთ წესს ვერ კითხულობენ. მიაწოდეთ უბრალო ტექსტური robots.txt ამ გზაზე, ან დააბრუნეთ რეალური 404 სტატუსი, თუ წესები არ გაქვთ.
რას ნიშნავს
robots.txt-ის მისამართი HTML-ს აბრუნებს (ხშირად 404 გვერდს სტატუსით 200), ამიტომ კრაულერები ვერცერთ წესს ვერ კითხულობენ.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
კრაულერები robots.txt-ს ხაზ-ხაზ აანალიზებენ და უგულებელყოფენ იმას, რაც არ ესმით, ამიტომ HTML გვერდი მათ არც წესებს აძლევს და არც Sitemap ხაზებს. თქვენი ჩაფიქრებული პოლიტიკა, მაგალითად სასწავლო კრაულერების დაბლოკვა ან საძიებო კრაულერების დაშვება, არ გამოიყენება, ხოლო იქ მითითებული sitemap-ები არ მოიძებნება.
ეს ჩვეულებრივ ხდება single-page აპებსა და catch-all მარშრუტებთან, რომლებიც ყველა უცნობ გზას აპის გარსით და სტატუსით 200 პასუხობენ. AISeeWhy აფასებს სხეულის მიხედვით და არა Content-Type ჰედერით, რადგან კრაულერებიც ასე იქცევიან: text/html-ად მიწოდებული ტექსტური ფაილი მაინც იკითხება, HTML გვერდი კი — არა.
როგორ გამოვასწოროთ
- გახსენით
/robots.txtდა ნახეთ წყარო: თუ ის<!doctype-ით ან<html-ით იწყება, ფაილი არ არსებობს და პასუხობს სარეზერვო მარშრუტი. - დაამატეთ რეალური ფაილი:
public/robots.txtNext.js-ში, Vite-ში ან Create React App-ში, ვებ-ძირი nginx-ზე ან Apache-ზე, ანrobots.txt.liquidშაბლონი Shopify-ზე. - nginx-ში დარწმუნდით, რომ
try_files ... /index.htmlსარეზერვო წესი/robots.txt-ს არ იჭერს სტატიკური ფაილის შემოწმებამდე; საჭიროების შემთხვევაში დაამატეთlocation = /robots.txt. - გამოასწორეთ catch-all მარშრუტი, რომ უცნობი გზებისთვის 404 სტატუსი აბრუნებდეს. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
მაგალითი
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.