সাইটম্যাপ আনা যাচ্ছে না (স্ট্যাটাস 403)
একটি সাইটম্যাপ ঘোষিত বা প্রত্যাশিত, কিন্তু এটি আনতে গিয়ে এরর, 401, 403, 429 বা একটি 5xx স্ট্যাটাস এসেছে, তাই ক্রলারও হয়তো এটি পড়তে পারে না। অডিট এটি ব্রাউজার হিসেবে আনে। সাইটম্যাপের URL পাবলিক করুন এবং বট চ্যালেঞ্জ ও রেট লিমিট থেকে ছাড় দিন।
এর মানে কী
একটি সাইটম্যাপ পাওয়া গেছে, কিন্তু এটি স্ট্যাটাস 403 দিয়ে উত্তর দিয়েছে বা উত্তর দেয়নি, তাই ক্রলাররাও হয়তো এটি ব্যবহার করতে পারবে না। আপনার ফায়ারওয়াল ক্রলারকে এটি আনতে দেয় কি না দেখুন।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
যে সাইটম্যাপ 403 বা সার্ভার এরর দেয় তা না থাকারই সমান: ক্রলার এ থেকে নতুন বা পরিবর্তিত পেজের কথা জানতে পারে না। বট সুরক্ষা একটি সাধারণ কারণ, কারণ সাইটম্যাপের অনুরোধ প্রায় পুরোটাই আসে ক্রলার থেকে, আর সেই রুলগুলো তাদেরই আটকাতে তৈরি।
প্রতিটি অনুরোধে তৈরি হওয়া বড় সাইটম্যাপও টাইম আউট হতে বা সার্ভারের সীমায় পৌঁছাতে পারে, যা 5xx স্ট্যাটাস হিসেবে দেখা দেয়। অডিট ফাইলটি ব্রাউজার হিসেবে আনে বলে এখানে ব্যর্থতার মানে সাধারণত ক্রলারও প্রত্যাখ্যাত হয়।
কীভাবে ঠিক করবেন
- রিপোর্ট থেকে সাইটম্যাপের URL খুলুন এবং স্ট্যাটাসটি লিখে রাখুন। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
- আপনার CDN বা WAF-এ সাইটম্যাপের পাথগুলো (যেমন
/sitemap*.xml) চ্যালেঞ্জ, Bot Fight Mode ও রেট লিমিটিং থেকে ছাড় দিন। - স্টেজিং ধরনের সেটআপে এটি অথেন্টিকেশনের পেছনে থাকলে প্রোডাকশন হোস্টে এটি পাবলিক করুন।
- 5xx এররের জন্য তৈরি হওয়া সাইটম্যাপ ক্যাশ করুন বা আগে থেকে স্ট্যাটিক ফাইল হিসেবে তৈরি রাখুন, আর খুব বড়গুলো একটি সাইটম্যাপ ইনডেক্স দিয়ে ভাগ করুন।
সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।