GPTBot შემცვლელ გვერდს იღებს
კრაულერმა მიიღო სტატუსი 200, მაგრამ არა რეალური გვერდი. მისი ხილული ტექსტი ბრაუზერის მიერ მიღებულის 15%-ზე ნაკლებია, ან შეიცავს ბლოკირების ფრაზას, მაგალითად „access denied“ ან „are you a robot“, რომელიც ბრაუზერის გვერდზე არ არის. იპოვეთ ბოტების წესი, რომელიც ამ შემცვლელ გვერდს აბრუნებს, და მიეცით კრაულერს სრული გვერდის ნახვის საშუალება.
რას ნიშნავს
მოთხოვნამ GPTBot-ის user agent-ით მიიღო სტატუსი 200, მაგრამ გვერდის ტექსტი ბლოკირების შეტყობინებაა ან გაცილებით მოკლეა, ვიდრე ის, რასაც ბრაუზერი იღებს.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
რბილი ბლოკირების შემჩნევა 403-ზე რთულია, რადგან ლოგები და uptime მონიტორები 200-ს აჩვენებენ. კრაულერი ინახავს იმ ტექსტს, რაც მიიღო, ამიტომ პასუხების სისტემამ შეიძლება დააინდექსოს გვერდი, რომელზეც წერია „ჩართეთ JavaScript და cookies“ თქვენი კონტენტის ნაცვლად, ან საერთოდ ამოაგდოს გვერდი, როგორც მწირი.
შემოწმება მხოლოდ მაშინ სრულდება, როცა ბრაუზერის ვერსიაში ტექსტი მინიმუმ 200 სიმბოლოა. ორივე პასუხი ერთი და იმავე სერვერიდან რამდენიმე წამის ინტერვალით მიიღება, ამიტომ ტექსტში დიდი სხვაობა მომდინარეობს იქიდან, როგორ ეპყრობა თქვენი სისტემა კრაულერის user agent-ს, და არა ქსელიდან ან კონტენტის ცვლილებიდან.
როგორ გამოვასწოროთ
- შეადარეთ რეპორტის მტკიცებულებაში მოცემული ტექსტის სიგრძე და ნაპოვნი ფრაზა ბრაუზერის ვერსიას. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
- მოძებნეთ ბოტების მართვის ფუნქციები, რომლებიც შეცდომის ნაცვლად შუალედური გვერდით პასუხობენ: Cloudflare-ის ბოტის შემოწმების ან JavaScript-ის აღმოჩენის გვერდები, Imperva-სა და Akamai-ის ბოტების გვერდები ან „დაადასტურეთ, რომ ადამიანი ხართ“ ტიპის პლაგინი.
- შეამოწმეთ დინამიკური რენდერინგის ან ქეშის წესები, რომლებიც ბოტებს სხვა შაბლონს აწვდიან, და A/B ტესტირების ან გეო-ხელსაწყოები, რომლებიც უცნობი ვიზიტორებისთვის გვერდს ცვლიან.
- დაამატეთ კრაულერისთვის გამონაკლისი იმ წესში, რომელიც შემცვლელ გვერდს აბრუნებს, დადასტურებული IP დიაპაზონით ან reverse DNS-ით, სადაც თქვენი პლატფორმა ამას მხარს უჭერს.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.