পেজ প্রকাশের আগে চালানোর মতো 12টি AEO যাচাই (2027)
প্রকাশের আগে নিশ্চিত করুন URL রিডাইরেক্ট ছাড়াই 200 দেয়, robots.txt প্রতিটি AI সার্চ ক্রলারকে অনুমতি দেয়, আপনার ফায়ারওয়াল তাদের আসল পেজ দেয়, আর উত্তরটি কাঁচা HTML-এ আছে। তারপর দেখুন কোনো ভুলে থাকা noindex বা nosnippet নেই, একটিই canonical আছে, H1-এর নিচে উত্তর আছে, JSON-LD সঠিক ও মিলে যায়, তারিখ মেলে, sitemap এন্ট্রি ও ইন্টারনাল লিংক আছে, hreflang আছে, এবং ইনডেক্সিংয়ের অনুরোধ করুন।
যে পেজগুলো কখনো AI উত্তরে আসে না, তার বেশিরভাগ আটকায় সাধারণ কিছুতে: ভুলে থাকা noindex, একটি ফায়ারওয়াল নিয়ম, স্টেজিংয়ের দিকে নির্দেশ করা canonical। এই বারোটি যাচাই লঞ্চের আগেই এগুলো ধরে ফেলে। প্রতিটিতে কয়েক মিনিট লাগে, বেশিরভাগের জন্য টার্মিনাল আর পেজের URL ছাড়া কিছু লাগে না, আর এগুলো সেই ক্রমে সাজানো যে ক্রমে ক্রলার এগুলোর মুখোমুখি হয়।
এই পেজে
- প্রতিটি যাচাইয়ে কত সময় লাগে?
- 1. URL রিডাইরেক্ট চেইন ছাড়াই 200 দেয়
- 2. robots.txt প্রতিটি AI সার্চ ক্রলারের জন্য পেজটির অনুমতি দেয়
- 3. ফায়ারওয়াল AI ক্রলারদের আসল পেজ দেয়
- 4. উত্তরটি কাঁচা HTML-এ আছে
- 5. কোনো noindex বা nosnippet রয়ে যায়নি
- 6. একটি canonical URL, পূর্ণাঙ্গ এবং নিজের দিকে নির্দেশ করা
- 7. টাইটেল ও H1 বলে পেজটি কীসের উত্তর দেয়, আর উত্তরটি ঠিক নিচে
- 8. JSON-LD পার্স হয় এবং দৃশ্যমান টেক্সটের সঙ্গে মেলে
- 9. দৃশ্যমান তারিখ, মার্কআপের তারিখ ও sitemap-এর lastmod মেলে
- 10. পেজটি sitemap-এ আছে এবং সংশ্লিষ্ট পেজ থেকে লিংক করা
- 11. hreflang দুই দিক থেকে আছে, x-default-সহ
- 12. সার্চ ইঞ্জিনকে নতুন পেজটি ক্রল করতে বলুন
- আমরা কীভাবে এই যাচাইগুলো বেছে নিয়েছি
প্রতিটি যাচাইয়ে কত সময় লাগে?
একটি পেজের জন্য মোটামুটি হিসাব, দরকারি টুলসহ। 1 থেকে 5 নম্বর যাচাই প্রতিটি পেজে চালান; বাকিগুলো প্রতি টেমপ্লেটে একবার, তারপর মাঝে মাঝে দেখে নিন।
- 1. স্ট্যাটাস 200: 1 মিনিট, curl।
- 2. প্রতিটি ক্রলারের জন্য robots.txt: 3 মিনিট, ব্রাউজার বা curl।
- 3. ফায়ারওয়ালের সাড়া: 3 মিনিট, curl।
- 4. কাঁচা HTML-এ টেক্সট: 2 মিনিট, curl।
- 5. ভুলে থাকা noindex বা nosnippet নেই: 2 মিনিট, curl।
- 6. একটি canonical: 2 মিনিট, view-source।
- 7. টাইটেল, H1 ও সংক্ষিপ্ত উত্তর: 5 মিনিট, পেজ পড়ে।
- 8. JSON-LD সঠিক ও মিলে যায়: 5 মিনিট, Rich Results Test বা Schema Markup Validator।
- 9. তারিখ মেলে: 3 মিনিট, পেজ, মার্কআপ ও sitemap।
- 10. Sitemap ও ইন্টারনাল লিংক: 5 মিনিট, sitemap.xml ও আপনার CMS।
- 11. hreflang: 5 মিনিট, শুধু বহুভাষিক সাইটের জন্য।
- 12. ইনডেক্সিংয়ের অনুরোধ: 2 মিনিট, Search Console ও IndexNow।
1. URL রিডাইরেক্ট চেইন ছাড়াই 200 দেয়
যে URL আপনি শেয়ার করবেন এবং sitemap-এ রাখবেন, ঠিক সেই URL-এ ক্রলারের উচিত পেজটি স্ট্যাটাস 200-সহ পাওয়া। প্রতিটি রিডাইরেক্ট ব্যর্থ হতে পারে এমন আরেকটি ধাপ, আর যে পেজ "পাওয়া যায়নি" বার্তাসহ 200 দেয় সেটি soft 404, যা সার্চ ইঞ্জিন বাদ দিতে পারে।
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ পাস: 200 redirects=0 এবং একই URL ফেরত। সমাধান: চূড়ান্ত URL-এর লিংক দিন ও সেটিই তালিকায় রাখুন, আর পুরোনো ঠিকানা থেকে বড়জোর একটি রিডাইরেক্ট রাখুন।
2. robots.txt প্রতিটি AI সার্চ ক্রলারের জন্য পেজটির অনুমতি দেয়
প্রতিটি ক্রলার যেভাবে পড়বে সেভাবে robots.txt পড়ুন। যে গ্রুপে কোনো ক্রলারের নাম থাকে, সেটি তার জন্য User-agent: * গ্রুপের জায়গা নেয়, আর RFC 9309 অনুযায়ী সবচেয়ে লম্বা মিলে যাওয়া নিয়মটি জেতে, সমান হলে Allow জেতে।
অন্তত OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot ও Googlebot যাচাই করুন। /guides/-এর মতো নতুন সেকশন পুরোনো Disallow: /g নিয়মে আটকে যেতে পারে, কারণ নিয়ম পাথের শুরুর অংশের সঙ্গে মেলে। এটাও নিশ্চিত করুন robots.txt নিজে 200 বা 404 দেয়: RFC 9309 অনুযায়ী সার্ভার এরর মানে ক্রলারদের পুরো সাইট disallow ধরে নেওয়া উচিত।
পাস: এই টোকেনগুলোর কোনো নিয়মই পাথটিকে disallow করে না। robots.txt কীভাবে পরীক্ষা করবেন তা নিয়ে আমাদের গাইড দেখায় একটি ক্রলারের জন্য একটি URL কীভাবে পরীক্ষা করবেন।
3. ফায়ারওয়াল AI ক্রলারদের আসল পেজ দেয়
পেজটি ব্রাউজারের ইউজার এজেন্ট ও ক্রলারের ইউজার এজেন্ট দিয়ে চেয়ে নিন, তারপর স্ট্যাটাস ও আকার তুলনা করুন। নাম দেখে মেলানো বট সুরক্ষা শুধু ক্রলারদের 403, 429 বা চ্যালেঞ্জ পেজ দিতে পারে।
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done পাস: প্রতিটি লাইনে 200 ও কাছাকাছি আকার। অনেক ছোট আকার সাধারণত চ্যালেঞ্জ পেজের লক্ষণ। এই স্ট্রিংগুলো নাম দেখে মেলানো নিয়ম পরীক্ষা করে; আসল ক্রলাররা প্রকাশিত IP রেঞ্জ থেকেও আসে, যা আপনার নিজের মেশিনের পরীক্ষায় পুনরায় তৈরি করা যায় না, তাই ওই রেঞ্জগুলোর জন্য আপনার ফায়ারওয়ালের allow নিয়মও যাচাই করুন।
4. উত্তরটি কাঁচা HTML-এ আছে
সার্ভার যে HTML পাঠায় তাতে আপনার উত্তরের একটি বাক্য খুঁজুন। ব্রাউজারের এলিমেন্ট ইন্সপেক্টর স্ক্রিপ্ট চলার পরের পেজ দেখায়, যা বেশিরভাগ ক্রলার পায় না।
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" পাস: 1 বা তার বেশি। 0 মানে টেক্সট JavaScript দিয়ে যোগ হয়, আর OpenAI, Anthropic ও Perplexity নথিভুক্ত করে না যে তাদের ক্রলার তা চালায়। সার্ভারে বা বিল্ডের সময় রেন্ডার করুন; JavaScript কনটেন্ট ও AI ক্রলার নিয়ে আমাদের গাইডে বিকল্পগুলো আছে।
5. কোনো noindex বা nosnippet রয়ে যায়নি
স্টেজিং সাইট প্রায়ই noindex-সহ আসে, আর কোনো টেমপ্লেট সেটি প্রোডাকশনে নিয়ে যেতে পারে। robots meta tag ও X-Robots-Tag HTTP হেডার দুটোই যাচাই করুন, কারণ যেকোনোটিই কার্যকর।
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html পাস: কিছুই প্রিন্ট হয় না, বা শুধু index, follow ও এমন কিছু। Google বলে, AI Overviews ও AI Mode-এ দেখা দিতে পেজকে ইনডেক্সড ও snippet-এর যোগ্য হতে হবে, আর nosnippet সেগুলোর সরাসরি ইনপুট হিসেবে ব্যবহারও আটকায়।
6. একটি canonical URL, পূর্ণাঙ্গ এবং নিজের দিকে নির্দেশ করা
পেজে ঠিক একটি rel="canonical" থাকা উচিত, পূর্ণ URL হিসেবে, যা আপনার প্রকাশ করা URL-এর দিকে নির্দেশ করে। Google canonical-কে একটি শক্তিশালী সংকেত বলে, আদেশ নয়, এবং relative URL ও পরস্পরবিরোধী সংকেত, যেমন অন্য ঠিকানা থাকা sitemap, সম্পর্কে সতর্ক করে।
লঞ্চের সাধারণ ভুল হলো: টেমপ্লেট পেজ থেকে কপি হওয়া canonical, যে canonical এখনও স্টেজিং হোস্টের দিকে নির্দেশ করে, আর থিম ও প্লাগইন থেকে একসঙ্গে আসা দুটি canonical ট্যাগ।
পাস: একটি ট্যাগ, লাইভ URL, sitemap-এর মতো একই প্রোটোকল ও হোস্ট।
7. টাইটেল ও H1 বলে পেজটি কীসের উত্তর দেয়, আর উত্তরটি ঠিক নিচে
পেজের ওপরের অংশ একজন অপরিচিত মানুষের মতো পড়ুন। টাইটেল ও H1-এ প্রশ্ন বা বিষয়টি ক্রেতাদের ভাষায় থাকা উচিত, আর H1-এর নিচের প্রথম দুই বা তিনটি বাক্যে তার পূর্ণ উত্তর থাকা উচিত।
টাইটেল প্রায় 60 অক্ষরের মধ্যে রাখুন, যাতে সার্চ ফলাফলে কেটে যাওয়ার সম্ভাবনা কম থাকে। সংক্ষিপ্ত উত্তর এমনভাবে লিখুন যাতে আলাদা করে উদ্ধৃত হলেও বোঝা যায়, সংখ্যা, একক ও প্রোডাক্টের নাম পুরো লিখে।
পাস: যিনি শুধু প্রথম অনুচ্ছেদ পড়েন তিনি উত্তর পেয়ে যান। AI উত্তরে উদ্ধৃত হওয়ার উপায় নিয়ে আমাদের তালিকা উদ্ধৃতির জন্য লেখা আরও গভীরে ব্যাখ্যা করে।
8. JSON-LD পার্স হয় এবং দৃশ্যমান টেক্সটের সঙ্গে মেলে
ভাঙা JSON-LD পুরোটাই উপেক্ষিত হয়, তাই একটি কমা বাদ পড়লে সবটাই চলে যায়। URL-টি Google-এর Rich Results Test বা Schema Markup Validator-এ দিন এবং প্রতিটি এরর ঠিক করুন।
তারপর মানগুলো পেজের সঙ্গে তুলনা করুন। মার্কআপের হেডলাইন, তারিখ, দাম, মুদ্রা ও প্রতিষ্ঠানের নাম যেন পাঠক যা দেখেন তা-ই হয়। Google বলে, তাদের AI ফিচারের জন্য বিশেষ কোনো মার্কআপ লাগে না, এবং স্ট্রাকচার্ড ডেটা দৃশ্যমান টেক্সটের সঙ্গে মিলতে হবে।
পাস: কোনো এরর নেই, এবং প্রতিটি মান পেজে দেখা যায়। বাদ দিন যদি: ওই পেজ টাইপের জন্য মানানসই কোনো মার্কআপ না থাকে; ভুল মার্কআপের চেয়ে সাধারণ পেজ ভালো।
9. দৃশ্যমান তারিখ, মার্কআপের তারিখ ও sitemap-এর lastmod মেলে
পেজে লেবেলসহ তারিখ দেখান, datePublished ও dateModified-এ একই তারিখ ব্যবহার করুন, আর sitemap-এর lastmod শেষ উল্লেখযোগ্য পরিবর্তনে সেট করুন। Google চায় দৃশ্যমান ও মার্কআপের তারিখ মিলুক, এবং বলে যে তারা lastmod তখনই ব্যবহার করে যখন তা ধারাবাহিকভাবে ও যাচাইযোগ্যভাবে সঠিক।
যে sitemap জেনারেটর প্রতিটি বিল্ডে প্রতিটি URL-এ আজকের তারিখ বসিয়ে দেয়, সে শুধু নতুন পেজ নয়, সব পেজের জন্যই lastmod অকেজো করে দেয়।
পাস: তিন জায়গায়, একটি তারিখ।
10. পেজটি sitemap-এ আছে এবং সংশ্লিষ্ট পেজ থেকে লিংক করা
ক্রলাররা লিংক ও sitemap দিয়ে পেজ খুঁজে পায়। নতুন URL-টি হুবহু canonical URL দিয়ে আপনার XML sitemap-এ যোগ করুন, আর অন্তত দুটি সংশ্লিষ্ট পেজ ও একটি হাব বা ইনডেক্স পেজ থেকে লিংক দিন।
একটি sitemap ফাইলে 50,000টি পর্যন্ত URL এবং আনকমপ্রেসড অবস্থায় 50 MB পর্যন্ত থাকতে পারে; বড় সাইটের জন্য sitemap ইনডেক্স লাগে। Google বলে তারা priority ও changefreq উপেক্ষা করে, তাই এগুলোতে সময় নষ্ট করবেন না। কোনো ইন্টারনাল লিংক নেই এমন পেজ অনাথ পেজ, যা ক্রলাররা দেরিতে খুঁজে পেতে পারে বা একেবারেই না।
পাস: URL-টি sitemap-এ আছে এবং অন্তত দুটি পেজ বর্ণনামূলক অ্যাংকর টেক্সট দিয়ে এর লিংক দেয়।
11. hreflang দুই দিক থেকে আছে, x-default-সহ
পেজটি একাধিক ভাষায় থাকলে প্রতিটি ভার্সনে নিজেসহ সব ভার্সনের তালিকা থাকা উচিত, আর প্রতিটিকে ফিরতি লিংক দিতে হবে। অন্য দিক থেকে নিশ্চিত না হওয়া hreflang অ্যানোটেশন Google উপেক্ষা করে। কোনো ভাষা না মিললে যে ভার্সন দেখানো হবে তার জন্য x-default যোগ করুন।
বাদ দিন যদি: সাইটটি এক ভাষার। hreflang x-default নিয়ে আমাদের গাইড ব্যাখ্যা করে কখন এটি দরকার।
12. সার্চ ইঞ্জিনকে নতুন পেজটি ক্রল করতে বলুন
পেজটি লাইভ হয়ে ওপরের যাচাইগুলো পাস করলে সার্চ ইঞ্জিনকে এর কথা জানান। Google Search Console-এ নতুন URL-এ URL পরিদর্শন চালান এবং ইনডেক্সিংয়ের অনুরোধ বেছে নিন। Bing ও IndexNow সমর্থন করা অন্য ইঞ্জিনের জন্য, আপনার key দিয়ে URL-টি IndexNow এন্ডপয়েন্টে জমা দিন; Bing জানায় এতে ক্রলিং বা ইনডেক্সিংয়ের নিশ্চয়তা নেই।
AI অ্যাসিস্ট্যান্টের কোনো জমা দেওয়ার ফর্ম নেই। তাদের ক্রলার লিংক ও সার্চের মাধ্যমে পেজ খুঁজে পায়, এজন্যই 2, 3 ও 10 নম্বর যাচাই গুরুত্বপূর্ণ। আপনি llms.txt ফাইল প্রকাশ করলে পেজটি সেখানেও যোগ করুন; Google বলে তাদের সার্চ এটি ব্যবহার করে না, তাই এটিকে ঐচ্ছিক ধরুন।
পাস: URL পরিদর্শন দেখায় লাইভ পেজটি ইনডেক্স করা যায়।
আমরা কীভাবে এই যাচাইগুলো বেছে নিয়েছি
তালিকাটি ক্রলারের পথ অনুসরণ করে: URL-এ পৌঁছানো, robots.txt পড়া, ফায়ারওয়াল পার হওয়া, HTML পড়া, তারপর তার অর্থ বোঝা। প্রতিটি যাচাই OpenAI, Anthropic, Perplexity ও Google তাদের ক্রলার সম্পর্কে যা নথিভুক্ত করে, robots.txt-এর জন্য RFC 9309, এবং canonical, তারিখ, sitemap ও hreflang নিয়ে Google-এর নির্দেশিকার ওপর ভিত্তি করে। AI উত্তরে যাদের কোনো নথিভুক্ত প্রভাব নেই, যেমন কিওয়ার্ড ডেনসিটি বা শব্দসংখ্যার লক্ষ্য, সেই যাচাইগুলো আমরা বাদ দিয়েছি।
যাচাইগুলো দেখায় পেজটি পড়া যায়; এগুলো দেখাতে পারে না যে পেজটি উদ্ধৃত হবে। সেটা নির্ভর করে অন্য উৎসের তুলনায় উত্তরটি কতটা ভালো তার ওপর। প্রতিটি ফায়ারওয়াল, CDN, থিম বা CMS পরিবর্তনের পর 2 থেকে 5 নম্বর যাচাই আবার চালান, কারণ এই পরিবর্তনগুলোই নীরবে এগুলো নষ্ট করে।
AISeeWhy এর বেশিরভাগ যাচাই একবারে চালায়: এটি একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে পেজ আনে, প্রতিটি ক্রলারের জন্য robots.txt প্রয়োগ করে এবং HTML, মার্কআপ, canonical ও তারিখ পড়ে। বিনামূল্যের যাচাই স্কোর ও প্রথম ফলাফল দেখায়; পূর্ণ রিপোর্ট প্রতিটি সমস্যা তৈরি সমাধানসহ তালিকা করে।
এই সমস্যার সমাধান
- OAI-SearchBot ব্লক করা
- পেজের কনটেন্টের জন্য JavaScript দরকার
- সাধারণ টেক্সটে লেখা তালিকা
- অংশগুলো ছোট উত্তর দিয়ে শুরু হয় না: 3টির মধ্যে 2টি
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- llms.txt চেকার ও ভ্যালিডেটর
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
এই যাচাইগুলো কি প্রতিটি পেজে চালাতে হবে?
প্রতিটি নতুন পেজে 1 থেকে 5 নম্বর যাচাই চালান, কারণ একটি URL আলাদাভাবে ব্লক হতে পারে বা তাতে ভুলে থাকা noindex থাকতে পারে। 6 থেকে 11 নম্বর যাচাই মূলত টেমপ্লেটের ওপর নির্ভর করে, তাই প্রতি পেজ টাইপে একবার চালান এবং নতুন পেজ মাঝে মাঝে দেখে নিন।
Google-এর মতো ChatGPT বা Claude-এ পেজ জমা দিতে পারি না কেন?
OpenAI, Anthropic ও Perplexity ওয়েব পেজের জন্য URL জমা দেওয়ার টুল দেয় না। তাদের ক্রলার লিংক ধরে ও সার্চের মাধ্যমে পেজ খুঁজে পায়, তাই ইন্টারনাল লিংক, একটি sitemap, আর OAI-SearchBot, Claude-SearchBot ও PerplexityBot-এর জন্য খোলা অ্যাক্সেসই আপনার নিয়ন্ত্রণে।
আমার পেজ বারোটি যাচাই-ই পাস করে। তবুও উদ্ধৃত হয় না কেন?
যাচাইগুলো পেজকে পড়ার যোগ্য করে, পছন্দের নয়। অ্যাসিস্ট্যান্ট সেই উৎস বেছে নেয় যা প্রশ্নের সেরা উত্তর দেয়, তাই আপনার পেজকে সে যেসব পেজ উদ্ধৃত করে সেগুলোর সঙ্গে তুলনা করুন: তারা আগে উত্তর দেয় কি না, দাম বা স্পেসিফিকেশন টেক্সটে দেয় কি না, বা এমন ডেটা দেয় কি না যা আপনার পেজে নেই।
প্রকাশের কত পরে AI ক্রলাররা আসে?
কোনো কোম্পানি সময়সূচি প্রকাশ করে না। আপনার সার্ভার লগ দেখায় OAI-SearchBot, Claude-SearchBot বা PerplexityBot প্রথম কখন URL-টি চেয়েছে; AI ক্রলারের জন্য সার্ভার লগ যাচাই নিয়ে আমাদের গাইড দেখায় সেগুলো কীভাবে খুঁজবেন।
উৎস
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ক্রলারের পরিচিতি
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইটের মালিকরা কীভাবে ক্রলার ব্লক করতে পারেন?
- Perplexity: Perplexity ক্রলার
- Google Search Central: AI ফিচার ও আপনার ওয়েবসাইট
- Google Search Central: Robots meta tag, data-nosnippet ও X-Robots-Tag
- Google Search Central: canonical URL কীভাবে নির্দিষ্ট করবেন
- Google Search Central: আপনার বাইলাইন তারিখ প্রভাবিত করুন
- Google Search Central: sitemap তৈরি ও জমা দিন
- Sitemaps.org: Sitemaps XML ফরম্যাট
- Google Search Central: Google-কে আপনার পেজের স্থানীয় ভার্সনের কথা জানান
- Google Search Console সহায়তা: URL পরিদর্শন টুল
- Bing: IndexNow, শুরু করুন
- Google Search Console সহায়তা: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO-র মূল বিষয়