robots.txt კრძალავს OAI-SearchBot-ს

მოკლე პასუხი

თქვენს robots.txt-ს აქვს Disallow წესი, რომელიც ამ გვერდს ემთხვევა ამ კრაულერის ტოკენისთვის. აუდიტი RFC 9309-ს იყენებს: კრაულერის საკუთარი ჯგუფი, თუ ასეთი აქვს, წინააღმდეგ შემთხვევაში * ჯგუფი, და იმარჯვებს ყველაზე გრძელი შესაბამისი წესი. დაამატეთ Allow კრაულერისთვის ან წაშალეთ წესი, თუ გსურთ მისი დაშვება.

robots.disallowed · პრიორიტეტი: P1–P3, კრაულერის ტიპის მიხედვით

რას ნიშნავს

თქვენი robots.txt-ის წესები OAI-SearchBot-ს არ აძლევს /-ის მიღების უფლებას.

რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის

კეთილსინდისიერი AI კრაულერები robots.txt-ს ემორჩილებიან. თუ OAI-SearchBot, Claude-SearchBot ან PerplexityBot აკრძალულია, გვერდი მათი საძიებო ინდექსებისთვის არ მიიღება და, შესაბამისად, მათ პასუხებში ვერ იქნება ციტირებული. ისეთი სასწავლო ტოკენების აკრძალვა, როგორებიცაა GPTBot, ClaudeBot, Google-Extended ან Applebot-Extended, მხოლოდ მოდელების სწავლებისთვის გამოყენებას აჩერებს.

ბევრი საიტი AI კრაულერებს შემთხვევით ბლოკავს: შაბლონი, რომელიც ყველაფერს კრძალავს Googlebot-ის გარდა, ან staging-იდან დარჩენილი User-agent: * ჯგუფი Disallow: /-ით. გაითვალისწინეთ, რომ Applebot იყენებს Googlebot-ის ჯგუფს, როცა საკუთარი ჯგუფი არ აქვს.

როგორ გამოვასწოროთ

  1. იპოვეთ წესი მიგნებაში: ის ასახელებს კრაულერის ტოკენს და გზას. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
  2. ამოიღეთ კრაულერის ტოკენი ყველა ჯგუფიდან, რომელიც გვერდს კრძალავს, შემდეგ დაამატეთ მისი საკუთარი ჯგუფი Allow: /-ით. კონკრეტული ჯგუფი ამ კრაულერისთვის * ჯგუფს ცვლის, ამიტომ *-ის ქვეშ არსებული წესები მასზე აღარ ვრცელდება.
  3. WordPress-ზე შეამოწმეთ, robots.txt რეალური ფაილია ვებ-ძირში თუ მას SEO პლაგინი, მაგალითად Yoast ან Rank Math, აგენერირებს, და იქ დაარედაქტირეთ. Shopify-ზე დაარედაქტირეთ თემის შაბლონი robots.txt.liquid.
  4. Cloudflare-ზე შეამოწმეთ, ამატებს თუ არა managed robots.txt-ის პარამეტრი AI კრაულერების წესებს თქვენი ფაილის თავზე.
  5. დატოვეთ სასწავლო ტოკენები აკრძალული, თუ ეს თქვენი პოლიტიკაა; ეს არ მოქმედებს საძიებო კრაულერებზე, რომლებიც ცალკე ტოკენებს იყენებენ.

მაგალითი

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

როგორ დავრწმუნდეთ, რომ გამოსწორდა

ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.

ჩემი გვერდის შემოწმება →

დაკავშირებული სახელმძღვანელოები

ყველა მიგნება და როგორ მუშაობს ქულა