2টি পেজ ক্রল প্রত্যাখ্যান করেছে
অডিট এই পেজগুলো ব্রাউজার হিসেবে আনার সময় এগুলো 401, 403, 429 বা 503 দিয়েছে, অথবা টাইম আউট হয়েছে। এটি প্রায়ই ভাঙা পেজ নয়, বরং একটি ফায়ারওয়াল, বট সুরক্ষা বা রেট লিমিট। সার্চ ও AI ক্রলার একই উত্তর পায় কি না দেখুন।
এর মানে কী
এই পেজগুলো 401, 403, 429 বা 503 দিয়ে উত্তর দিয়েছে, অথবা সময় পেরিয়ে গেছে। কোনো ফায়ারওয়াল বা রেট লিমিট হয়তো ক্রলারকেও আটকাচ্ছে; সার্চ ও AI ক্রলার একই উত্তর পায় কি না দেখুন।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
অডিট একটি সার্ভার থেকে অল্প সময়ে অনেক পেজ আনে, তাই মানুষ পেজটি পেলেও একটি রেট লিমিট 429 বা 503 দিয়ে উত্তর দিতে পারে। একই রুল সার্চ ও AI ক্রলারের ক্ষেত্রেও প্রযোজ্য হলে এই পেজগুলো তাদের ইনডেক্সের জন্য আনা হয় না এবং AI উত্তরে উদ্ধৃত হতে পারে না।
401 মানে পেজে লগইন দরকার, যা অ্যাকাউন্টের অংশের জন্য প্রত্যাশিত, কিন্তু পাবলিক কনটেন্টের জন্য নয়। প্রতিটি পেজে 503 মানে হতে পারে মেইনটেন্যান্স মোড চালু রয়ে গেছে। এই পেজগুলো ভাঙা লিংক থেকে আলাদা রাখা হয়, কারণ সমাধান নির্ভর করে কাকে প্রত্যাখ্যান করা হচ্ছে তার ওপর।
কীভাবে ঠিক করবেন
- তালিকার কয়েকটি URL প্রাইভেট ব্রাউজার উইন্ডোতে খুলুন। সেগুলো লোড হলে ব্লকটি স্বয়ংক্রিয় অনুরোধকে লক্ষ্য করে।
- আপনার ফায়ারওয়াল, CDN বা হোস্টিংয়ের লগে প্রত্যাখ্যাত অনুরোধগুলো খুঁজুন। নিশ্চিত করুন Googlebot ও Bingbot-এর মতো যাচাইকৃত সার্চ ক্রলার এবং আপনি যে AI সার্চ ক্রলার চান সেগুলো অনুমতি পায়; Cloudflare-সহ অনেক CDN-এ যাচাইকৃত বটের জন্য একটি সেটিং আছে।
- রেট লিমিটের কারণে হলে সাধারণ পেজ অনুরোধের জন্য সীমা বাড়ান বা HTML পেজগুলোকে এর বাইরে রাখুন।
- পেজ 401 দিলে পাবলিক পেজ থেকে লগইন সরান, অথবা পাবলিক পেজ থেকে প্রাইভেট পেজে লিংক দেওয়া বন্ধ করুন।
- ফলাফল নিশ্চিত করতে আপনার অ্যাকাউন্ট থেকে আবার সাইট অডিট চালান।
সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।