robots.txt უშვებს GPTBot-ს, მაგრამ სერვერი ბლოკავს
თქვენი robots.txt ამ კრაულერს გვერდის მიღების უფლებას აძლევს, მაგრამ მისი user agent-ით გაგზავნილი მოთხოვნა დაბლოკა სერვერმა, CDN-მა ან ფაირვოლმა. გამოცხადებული პოლიტიკა და რეალური ქცევა ერთმანეთს არ ემთხვევა. შეცვალეთ ფაირვოლის წესი robots.txt-ის შესაბამისად, ან აკრძალეთ კრაულერი robots.txt-ში, თუ მისი დაბლოკვა გინდოდათ.
რას ნიშნავს
თქვენი წესები GPTBot-ს უშვებს, მაგრამ მოთხოვნა მისი user agent-ით დაიბლოკა. ფაირვოლი ან CDN თქვენს გამოცხადებულ პოლიტიკას აუქმებს.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
კრაულერები robots.txt-ს თქვენს პოლიტიკად მიიჩნევენ. როცა ის „დიახ“-ს ამბობს, სერვერი კი 403-ს, კრაულერი მოთხოვნებს ფუჭად ხარჯავს, შეიძლება მოგვიანებით ხელახლა სცადოს, გვერდი კი მაინც ვერ ხვდება პასუხების სისტემის ინდექსში. გუნდებს ხშირად ჰგონიათ, რომ AI ძიებას უშვებენ, რადგან ამას robots.txt ამბობს, მაშინ როცა ბოტების წესი მას ჩუმად ბლოკავს.
შემოწმება სრულდება დაუდასტურებელი IP მისამართიდან. ამიტომ წესი, რომელიც კრაულერს მხოლოდ მისი გამოქვეყნებული IP დიაპაზონებიდან უშვებს, რაც გონივრული კონფიგურაციაა, შეიძლება აქ გამოჩნდეს, მიუხედავად იმისა, რომ რეალური კრაულერი შედის. ცვლილებებამდე შეამოწმეთ, რომელი წესი ამოქმედდა.
როგორ გამოვასწოროთ
- შეადარეთ robots.txt-ის ჯგუფი და დაბლოკილი მოთხოვნის სტატუსი მიგნებაში. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
- იპოვეთ წესი, რომელმაც მოთხოვნა დაბლოკა: Cloudflare-ზე შეამოწმეთ Security → Events და AI Crawl Control-ისა და Bot Fight Mode-ის პარამეტრები; სხვა CDN-ებზე შეამოწმეთ ბოტების მართვის ლოგი.
- თუ კრაულერის დაშვება გსურთ, დაამატეთ მისთვის გამონაკლისი; თუ არ გსურთ, დაამატეთ Disallow ჯგუფი მისი ტოკენისთვის, რომ თქვენი პოლიტიკა ერთ ადგილას იყოს გამოცხადებული.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.