ডেভেলপারদের জন্য AI ক্রলার চেক
প্রোডাকশনে পৌঁছানোর আগেই ধরুন সেই robots.txt নিয়ম, ফায়ারওয়াল সেটিং বা ক্লায়েন্ট-রেন্ডার করা পেজ, যা AI সার্চ থেকে আপনার সাইট লুকিয়ে রাখে।
GitHub Action
প্রতিটি pull request-এ প্রিভিউ deployment চেক করুন এবং কোনো AI ক্রলার ব্লক হলে বা স্কোর কমলে বিল্ড ফেল করান।
REST API
একটি URL পাঠান এবং স্কোর, পর্যবেক্ষণ, প্রমাণ ও সমাধানসহ JSON পান। সাইটম্যাপ ব্যাচে 50টি পর্যন্ত URL নেওয়া যায়।
MCP সার্ভার
Claude Code, Codex, Cursor বা যেকোনো MCP ক্লায়েন্ট যুক্ত করুন এবং এজেন্টকে আপনার হয়ে পেজ অডিট, তুলনা ও নজরে রাখতে দিন।
JavaScript ছাড়া আপনার পেজ
আপনার সার্ভারের পাঠানো HTML থেকে ক্রলাররা যে টেক্সট ও হেডিং পায়, তা দেখুন ব্রাউজারে যা দেখায় তার পাশে।