robots.txt HTML გვერდია

მოკლე პასუხი

/robots.txt მისამართი HTML დოკუმენტს აბრუნებს, ჩვეულებრივ 404 გვერდს ან მთავარ გვერდს სტატუსით 200. კრაულერები HTML-დან ვერცერთ წესს ვერ კითხულობენ. მიაწოდეთ უბრალო ტექსტური robots.txt ამ გზაზე, ან დააბრუნეთ რეალური 404 სტატუსი, თუ წესები არ გაქვთ.

robots.invalid · პრიორიტეტი: P2

რას ნიშნავს

robots.txt-ის მისამართი HTML-ს აბრუნებს (ხშირად 404 გვერდს სტატუსით 200), ამიტომ კრაულერები ვერცერთ წესს ვერ კითხულობენ.

რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის

კრაულერები robots.txt-ს ხაზ-ხაზ აანალიზებენ და უგულებელყოფენ იმას, რაც არ ესმით, ამიტომ HTML გვერდი მათ არც წესებს აძლევს და არც Sitemap ხაზებს. თქვენი ჩაფიქრებული პოლიტიკა, მაგალითად სასწავლო კრაულერების დაბლოკვა ან საძიებო კრაულერების დაშვება, არ გამოიყენება, ხოლო იქ მითითებული sitemap-ები არ მოიძებნება.

ეს ჩვეულებრივ ხდება single-page აპებსა და catch-all მარშრუტებთან, რომლებიც ყველა უცნობ გზას აპის გარსით და სტატუსით 200 პასუხობენ. AISeeWhy აფასებს სხეულის მიხედვით და არა Content-Type ჰედერით, რადგან კრაულერებიც ასე იქცევიან: text/html-ად მიწოდებული ტექსტური ფაილი მაინც იკითხება, HTML გვერდი კი — არა.

როგორ გამოვასწოროთ

  1. გახსენით /robots.txt და ნახეთ წყარო: თუ ის <!doctype-ით ან <html-ით იწყება, ფაილი არ არსებობს და პასუხობს სარეზერვო მარშრუტი.
  2. დაამატეთ რეალური ფაილი: public/robots.txt Next.js-ში, Vite-ში ან Create React App-ში, ვებ-ძირი nginx-ზე ან Apache-ზე, ან robots.txt.liquid შაბლონი Shopify-ზე.
  3. nginx-ში დარწმუნდით, რომ try_files ... /index.html სარეზერვო წესი /robots.txt-ს არ იჭერს სტატიკური ფაილის შემოწმებამდე; საჭიროების შემთხვევაში დაამატეთ location = /robots.txt.
  4. გამოასწორეთ catch-all მარშრუტი, რომ უცნობი გზებისთვის 404 სტატუსი აბრუნებდეს. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.

მაგალითი

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

როგორ დავრწმუნდეთ, რომ გამოსწორდა

ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.

ჩემი გვერდის შემოწმება →

დაკავშირებული სახელმძღვანელოები

ყველა მიგნება და როგორ მუშაობს ქულა