GPTBot სხვაგან გადამისამართდება
ამ კრაულერის user agent-ით გაგზავნილი მოთხოვნა სხვაგან დასრულდა და არა იმ გვერდზე, რომელსაც ბრაუზერი აღწევს: სხვა ჰოსტზე ან ისეთ გზაზე, რომელიც შეიცავს login, signin, captcha ან blocked. წაშალეთ გადამისამართების წესი, რომელიც ამ user agent-ზეა მიმართული, რომ კრაულერი იმავე URL-ზე მოხვდეს, სადაც ადამიანები.
რას ნიშნავს
მოთხოვნა GPTBot-ის user agent-ით მთავრდება მისამართზე https://example.com/b და არა იმ გვერდზე, რომელსაც ბრაუზერი იღებს.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
კრაულერი, რომელიც გადამისამართდება შესვლის ფორმაზე, captcha-ს გვერდზე ან სხვა დომენზე, ვერასოდეს წაიკითხავს კონტენტს, რისთვისაც გაიგზავნა. პასუხების სისტემები ან გამოტოვებენ გვერდს, ან კონტენტს მიაკუთვნებენ იმ URL-ს, სადაც კრაულერი აღმოჩნდა, რომელიც ხშირად ზოგადი გვერდია და ციტირების ღირსი არაფერი აქვს.
ასეთი გადამისამართებები ჩვეულებრივ მოდის ბოტებისგან დაცვის, paywall-ის, წევრობის ან გეო-წესებიდან, რომლებიც user agent-ზე რეაგირებენ. საძიებო და მომხმარებლის კრაულერები, როგორებიცაა OAI-SearchBot, Claude-User და PerplexityBot, ისევე ზარალდებიან, როგორც სასწავლო კრაულერები, ამიტომ ეს მიგნება კრაულერის როლის მიხედვით ფასდება.
როგორ გამოვასწოროთ
- წაიკითხეთ საბოლოო URL მიგნებაში, რომ ნახოთ, სად გაიგზავნა კრაულერი. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
- შეამოწმეთ გადამისამართების წესები თქვენს CDN-ში (Cloudflare Redirect Rules, Page Rules ან Workers), nginx-ის
return 301/302ანrewriteბლოკებში და Apache-ისRewriteRuleხაზებში user agent-ის პირობით. - WordPress-ში ან Shopify-ში შეამოწმეთ წევრობის, ასაკის შემოწმების, ტექნიკური მომსახურების რეჟიმისა და გეო-გადამისამართების აპები, რომლებიც უცნობ ვიზიტორებს შესვლის ან ქვეყნის გვერდზე აგზავნიან.
- გაათავისუფლეთ კრაულერი ამ წესისგან, ან გადამისამართების ნაცვლად დახურული კონტენტის საჯარო მოკლე აღწერა აჩვენეთ ორიგინალ URL-ზე.
როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.