AI ক্রলার ও AEO, সহজ ব্যাখ্যায়
সাইট মালিক, মার্কেটার ও ডেভেলপারদের জন্য ব্যবহারিক গাইড: কোন কোন AI ক্রলার আছে, তারা কী পড়ার অনুমতি পায়, এবং কীভাবে নিশ্চিত করবেন যে AI উত্তর আপনার পেজ পড়তে ও উদ্ধৃত করতে পারে।
কতগুলো সাইট llms.txt প্রকাশ করে? আমরা 10,000 ডোমেইন যাচাই করেছি
সবচেয়ে জনপ্রিয় 10,000 ডোমেইনের 12.4% llms.txt প্রকাশ করে, এবং যারা করে তারা AI ক্রলার অনেক কম ব্লক করে। ডেটা কী দেখায় এবং কী দেখায় না।
আর্টিকেল পড়ুন →AI crawler researchসবচেয়ে জনপ্রিয় ১০,০০০ সাইটের robots.txt পড়লাম। AI ক্রলার নিয়ে তারা কী করে, দেখুন
জনপ্রিয় ডোমেনের ২৩% AI ট্রেনিং ক্রলার ব্লক করে, ১২% AI সার্চ ক্রলার ব্লক করে, আর প্রথম দলের অর্ধেক দুটোই ব্লক করে। ১০,০০০ robots.txt ফাইলের তথ্য।
আর্টিকেল পড়ুন →ক্রলার অ্যাক্সেসপ্রতি দশটি ব্যবসায়িক ওয়েবসাইটের চারটি AI ক্রলারকে ফিরিয়ে দেয়
আমরা যুক্তরাষ্ট্র, যুক্তরাজ্য ও ফ্রান্সের ১৬৫টি কোম্পানির সাইট ১৪টি AI ক্রলার হিসেবে পরীক্ষা করেছি: ৩৮% কিছু ক্রলারকে ফিরিয়েছে, ১০% AI সার্চ ক্রলারকে ঠেকিয়েছে।
আর্টিকেল পড়ুন →ক্রলার পরীক্ষাAI ক্রলার আসলে আপনার সাইট থেকে কী পায়? ৬৬ লাইনের একটি স্ক্রিপ্ট
পেজটি OAI-SearchBot, ClaudeBot, PerplexityBot ও ব্রাউজার হিসেবে আনুন, তারপর স্ট্যাটাস, সাইজ ও robots.txt নিয়ম মিলিয়ে দেখুন। 403, চ্যালেঞ্জ পেজ ও পাতলা রেসপন্স ধরা পড়ে।
আর্টিকেল পড়ুন →AI SEOSEO 2.0: AI সার্চ ও অ্যাসিস্ট্যান্ট কীভাবে SEO বদলে দিল, স্তর ধরে ধরে
SEO 2.0: AI সার্চ ও অ্যাসিস্ট্যান্ট কীভাবে SEO বদলে দিল, আর আজ যাচাই করার পাঁচটি স্তর (SEO ভিত্তি, AEO, GEO, AIO, SXO), একটি চেকলিস্টসহ।
আর্টিকেল পড়ুন →AI উদ্ধৃতিAI উত্তরে আপনার সাইটকে উদ্ধৃত করানোর 12টি উপায় (2027)
ChatGPT, Claude, Perplexity ও Google AI Overviews-এ উদ্ধৃত হওয়ার 12টি নথিভুক্ত উপায়: ক্রলার অ্যাক্সেস, আগে উত্তর, স্পষ্ট তথ্য, মার্কআপ ও লিস্টিং।
আর্টিকেল পড়ুন →AEO চেকলিস্টপেজ প্রকাশের আগে চালানোর মতো 12টি AEO যাচাই (2027)
লঞ্চের আগের AEO চেকলিস্ট: স্ট্যাটাস, robots.txt, ফায়ারওয়াল, কাঁচা HTML, noindex, canonical, মার্কআপ, তারিখ, sitemap ও ইনডেক্সিংয়ের 12টি যাচাই, কমান্ডসহ।
আর্টিকেল পড়ুন →AI উত্তরে প্রোডাক্টআপনার প্রোডাক্টকে AI উত্তরে আনার 11টি উপায় (2027)
ChatGPT, Perplexity ও Google AI উত্তরে প্রোডাক্ট ও দাম কীভাবে আনবেন: টেক্সটে দাম, Product মার্কআপ, শিপিং, রিটার্ন, ফিড ও রিভিউ।
আর্টিকেল পড়ুন →Claude-এর অ্যাক্সেসClaude কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন
5 মিনিটে জানুন Claude আপনার সাইট পড়তে ও উদ্ধৃত করতে পারে কি না: Claude-SearchBot ও Claude-User-এর জন্য robots.txt, ফায়ারওয়াল টেস্ট, লগ ও Claude-এ টেস্ট।
আর্টিকেল পড়ুন →Gemini-র অ্যাক্সেসGemini কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন
5 মিনিটে জানুন Gemini আপনার সাইট ব্যবহার ও উদ্ধৃত করতে পারে কি না: Google ইনডেক্সিং, Google-Extended টোকেন, Googlebot-এর ফায়ারওয়াল টেস্ট ও Gemini-তে টেস্ট।
আর্টিকেল পড়ুন →AI ট্রাফিকGoogle Analytics-এ ChatGPT ও অন্যান্য AI অ্যাসিস্ট্যান্ট থেকে আসা ট্রাফিক কীভাবে ট্র্যাক করবেন
GA4-এ ChatGPT, Gemini, Claude, Perplexity ও Copilot থেকে আসা ভিজিট দেখুন: AI Assistant চ্যানেল, regex দিয়ে কাস্টম চ্যানেল গ্রুপ, আর অ্যানালিটিক্স যা দেখাতে পারে না।
আর্টিকেল পড়ুন →ক্রলারের অ্যাক্সেসআমার সাইট হঠাৎ AI ক্রলার ব্লক করছে কেন?
গত মাসে AI ক্রলাররা আপনার সাইট পড়তে পারত, এখন পারে না? চেক করুন লাইভ robots.txt, Cloudflare-এর 2026 AI নীতি, বট সুরক্ষা, হোস্টের ডিফল্ট ও robots.txt এরর।
আর্টিকেল পড়ুন →Content Signalsrobots.txt-এ Content-Signal কী, আর কেউ কি এটি মানে?
robots.txt-এর Content-Signal লাইন কী বলে, search, ai-input ও ai-train কীভাবে লিখবেন, Cloudflare আপনার হয়ে কী যোগ করে, আর কোন AI ক্রলার সমর্থন নথিভুক্ত করে।
আর্টিকেল পড়ুন →ক্রলিংয়ের লোডব্লক না করে AI ক্রলারদের গতি কীভাবে কমাবেন
AI ক্রলাররা সার্ভারে চাপ দিচ্ছে? গতি কমান, তবু AI উত্তরে থাকুন: যেখানে কাজ করে সেখানে Crawl-delay, Retry-After-সহ 429 বা 503, ক্রলার-ভিত্তিক লিমিট, ক্যাশিং।
আর্টিকেল পড়ুন →AI কনটেন্টআমার ওয়েবসাইটে কি ChatGPT-র কনটেন্ট ব্যবহার করা যায়?
ChatGPT-র লেখা প্রকাশ নিয়ে OpenAI-এর শর্ত, Google-এর স্প্যাম নীতি ও US Copyright Office কী বলে: মালিকানা, কপিরাইট, প্রকাশ ও পর্যালোচনা।
আর্টিকেল পড়ুন →AI-তে ব্র্যান্ডের দৃশ্যমানতাChatGPT, Perplexity বা Google AI Mode আপনার ব্র্যান্ডের উল্লেখ করে কি না কীভাবে চেক করবেন
ChatGPT, Perplexity, Claude, Gemini ও Google AI Mode আপনার ব্র্যান্ডের নাম নেয়, উদ্ধৃত করে বা লিংক দেয় কি না, আর Search Console ও অ্যানালিটিক্স কী মাপে।
আর্টিকেল পড়ুন →প্রতিযোগীর দৃশ্যমানতাআমার প্রতিযোগী ChatGPT ও Perplexity-তে আসে, আমি আসি না। কারণ কীভাবে খুঁজব?
AI উত্তর আপনার বদলে প্রতিযোগীকে উদ্ধৃত করলে কোন ক্রমে খুঁজবেন: আগে ক্রলারের অ্যাক্সেস, তারপর উত্তর, তথ্য, সামঞ্জস্য, অন্য সাইটে উল্লেখ ও তারিখ।
আর্টিকেল পড়ুন →robots.txt পরীক্ষাএকটি URL ও নির্দিষ্ট ক্রলারের জন্য robots.txt রুল কীভাবে পরীক্ষা করব?
একটি URL ও ক্রলারের জন্য robots.txt রুল পরীক্ষা: RFC 9309 অনুযায়ী মেলানো, উদাহরণ, Google-এর ওপেন সোর্স পার্সার, Python-এর robotparser ও টেস্টারের বিকল্প।
আর্টিকেল পড়ুন →Cloudflare-এর AI নিয়ন্ত্রণCloudflare-এর AI Crawl Control রিপোর্ট কীভাবে পড়বেন ও কোন AI ক্রলার ঢুকতে পারে দেখবেন
Cloudflare-এর AI ক্রলার রিপোর্ট কোথায়, প্রতিটি কলামের মানে, ট্রেনিং ব্লক করে AI সার্চ ক্রলারকে অনুমতি দেওয়া, আর curl দিয়ে ফল যাচাই।
আর্টিকেল পড়ুন →ক্রলার যাচাইAI ক্রলারের ইউজার এজেন্ট ও IP রেঞ্জ: GPTBot, ClaudeBot, PerplexityBot ও আরও
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot ও CCBot-এর ইউজার এজেন্ট, অফিশিয়াল IP তালিকা ও রিকোয়েস্ট যাচাইয়ের উপায়।
আর্টিকেল পড়ুন →AEO-র মূল কথাAEO (answer engine optimization) কী, আর এটি কেন গুরুত্বপূর্ণ?
সহজ ভাষায় AEO: আনসার ইঞ্জিন কী, SEO ও GEO-র সঙ্গে AEO-র সম্পর্ক, চারটি অংশ, একটি চেকলিস্ট, ফল কীভাবে মাপবেন আর সেবাদাতাকে কী জিজ্ঞেস করবেন।
আর্টিকেল পড়ুন →FAQ স্ট্রাকচার্ড ডেটাFAQ schema (FAQPage মার্কআপ) কী, আর 2026-এ এটি কি এখনো কাজে আসে?
FAQ schema: FAQPage মার্কআপ কী, মে 2026-এ Google কেন FAQ rich results দেখানো বন্ধ করল, AI উত্তরে এটি কী করতে পারে, JSON-LD উদাহরণ ও পরীক্ষা।
আর্টিকেল পড়ুন →সাইটম্যাপGoogle Search Console-এ সাইটম্যাপ এররের মানে কী, আর কীভাবে ঠিক করব?
Google Search Console-এ Couldn't fetch, Sitemap could not be read ও Has errors-এর মানে কী, বাইরে থেকে সাইটম্যাপ কীভাবে পরীক্ষা করবেন ও প্রতিটি এরর ঠিক করবেন।
আর্টিকেল পড়ুন →hreflanghreflang x-default কী, আর কখন এটি দরকার?
hreflang x-default-এর মানে, Google কখন এটি সুপারিশ করে, HTML, HTTP হেডার বা XML সাইটম্যাপে কীভাবে যোগ করবেন, আর যে ভুলে Google hreflang উপেক্ষা করে।
আর্টিকেল পড়ুন →llms-full.txtllms-full.txt কী, আর llms.txt-এর পাশে কি এটি প্রকাশ করা উচিত?
llms-full.txt কী, llms.txt ও .md পেজ থেকে এটি কীভাবে আলাদা, কারা এটি প্রকাশ করে, AI ক্রলার এ নিয়ে কী বলে, আর কীভাবে এটি বানাবেন ও চেক করবেন।
আর্টিকেল পড়ুন →ক্রলারের অ্যাক্সেসকোনো ওয়েবসাইট AI ক্রলার ব্লক করে কি না, কীভাবে চেক করবেন
সাইট GPTBot, ClaudeBot, PerplexityBot ও অন্য AI ক্রলার ব্লক করে কি না চেক করার তিন উপায়: robots.txt পড়ুন, এক ক্লিকে সব ক্রলার চেক করুন, ফায়ারওয়াল পরীক্ষা করুন।
আর্টিকেল পড়ুন →Perplexity-তে দৃশ্যমানতাআমার সাইট Perplexity-তে দেখা যাচ্ছে না কেন?
Perplexity কেন আপনার সাইট দেখায় না বা উদ্ধৃত করে না: PerplexityBot বনাম Perplexity-User, robots.txt, ফায়ারওয়াল, JavaScript ও Perplexity-র প্রকাশিত IP রেঞ্জ।
আর্টিকেল পড়ুন →ট্রেনিং বনাম সার্চAI ট্রেনিং ব্লক করে কীভাবে AI সার্চের উত্তরে থাকবেন
GPTBot, ClaudeBot ও Google-Extended-এর মতো ট্রেনিং ক্রলার ব্লক করুন, তবু ChatGPT, Claude, Perplexity ও Google-এর উত্তরে থাকুন: টোকেন, robots.txt ও Content-Signal।
আর্টিকেল পড়ুন →সার্ভার লগসার্ভার লগে AI ক্রলার কীভাবে চেক করবেন
nginx বা Apache অ্যাক্সেস লগে grep ও awk দিয়ে GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot খুঁজুন এবং IP রেঞ্জ বা reverse DNS দিয়ে যাচাই করুন।
আর্টিকেল পড়ুন →Google-এর AI ফিচারGoogle-Extended ব্লক করলে কি AI Overviews ও AI Mode থেকে বাদ পড়বেন?
Google-Extended, Googlebot, AI Overviews ও AI Mode নিয়ে Google যা জানায়: প্রতিটি নিয়ন্ত্রণ কী করে, Search Console-এ অপ্ট-আউট, আর কী চেক করবেন।
আর্টিকেল পড়ুন →ChatGPT-র অ্যাক্সেসChatGPT কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন
5 মিনিটে জানুন ChatGPT আপনার সাইট পড়তে ও উদ্ধৃত করতে পারে কি না: OAI-SearchBot-এর জন্য robots.txt, ফায়ারওয়াল টেস্ট, curl চেক এবং ChatGPT-তে একটি টেস্ট।
আর্টিকেল পড়ুন →OpenAI-এর ক্রলারOpenAI-এর ক্রলার: GPTBot, OAI-SearchBot ও ChatGPT-User
OpenAI-এর তিনটি ক্রলার কী করে, তাদের ইউজার এজেন্ট স্ট্রিং ও IP তালিকা, কোন robots.txt টোকেন কী নিয়ন্ত্রণ করে, আর প্রতিটি ব্লক করলে কী বদলায়।
আর্টিকেল পড়ুন →ফায়ারওয়াল ও CDNCloudflare কি AI ক্রলার ব্লক করছে? কীভাবে খুঁজবেন ও ঠিক করবেন
Cloudflare ও অন্য WAF কেন AI ক্রলারকে 403 বা চ্যালেঞ্জ পেজ দেয়, কীভাবে তা ধরবেন, আর কীভাবে নিরাপদে AI সার্চ ক্রলারদের ঢুকতে দেবেন।
আর্টিকেল পড়ুন →robots.txtAI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন
AI ক্রলারের জন্য robots.txt কীভাবে লিখবেন: AI সার্চকে অনুমতি, ট্রেনিং নিয়ে সিদ্ধান্ত, প্রতিটি ক্রলারের টোকেন, RFC 9309-এর মেলানোর রুল ও সাধারণ ভুল।
আর্টিকেল পড়ুন →llms.txtllms.txt কী, আর এটি যোগ করা কি সার্থক?
llms.txt কী: প্রস্তাবটি কী, এর Markdown ফরম্যাট, আজ কারা এটি পড়ে, আর দশ মিনিটে কীভাবে একটি লিখবেন, সঙ্গে এর ব্যবহারের সৎ মূল্যায়ন।
আর্টিকেল পড়ুন →AEO-র মূল বিষয়AEO বনাম SEO: কী একই, আর AI উত্তরের জন্য কী বদলায়
AEO আর SEO-র তুলনা: কী একই থাকে, AI উত্তরের জন্য কী বদলায় (অ্যাক্সেস, শুরুতেই উত্তর, এনটিটি, হালনাগাদ তথ্য) এবং একটি চেকলিস্ট।
আর্টিকেল পড়ুন →Claude-এর ক্রলারAnthropic-এর ক্রলার: ClaudeBot, Claude-SearchBot ও Claude-User
Anthropic-এর তিনটি ওয়েব এজেন্ট: ClaudeBot, Claude-SearchBot ও Claude-User কী করে, তাদের robots.txt টোকেন, আর প্রতিটি ব্লক করলে কী বদলায়।
আর্টিকেল পড়ুন →Perplexity-র ক্রলারPerplexity-র ক্রলার: PerplexityBot ও Perplexity-User
Perplexity-র দুটি এজেন্ট: PerplexityBot ও Perplexity-User কী করে, robots.txt কোনটিকে নিয়ন্ত্রণ করে, আর ফায়ারওয়ালে কীভাবে অনুমতি বা ব্লক করবেন।
আর্টিকেল পড়ুন →স্ট্রাকচার্ড ডেটাAI সার্চ ও AI উত্তরের জন্য স্ট্রাকচার্ড ডেটা: কী মার্কআপ করবেন ও কীভাবে
কোন schema.org মার্কআপ AI উত্তরকে আপনার পেজ পড়তে সাহায্য করে: sameAs-সহ Organization, Article-এর তারিখ ও লেখক, FAQPage এবং দামসহ Product, JSON-LD-তে।
আর্টিকেল পড়ুন →JavaScript রেন্ডারিংAI ক্রলার কি JavaScript দিয়ে রেন্ডার হওয়া কনটেন্ট পড়তে পারে?
শুধু JavaScript দিয়ে রেন্ডার হওয়া কনটেন্ট কেন প্রায়ই AI ক্রলারের কাছে পৌঁছায় না, তারা কী পায় তা কীভাবে চেক করবেন, আর SSR বা স্ট্যাটিক HTML দিয়ে কীভাবে ঠিক করবেন।
আর্টিকেল পড়ুন →