بررسی خزندههای هوش مصنوعی برای توسعهدهندگان
قانون robots.txt، تنظیم فایروال یا صفحهای را که در مرورگر رندر میشود و سایت شما را از جستوجوی هوش مصنوعی پنهان میکند، پیش از رسیدن به production پیدا کنید.
GitHub Action
در هر pull request یک preview deployment را بررسی کنید و وقتی یک خزنده هوش مصنوعی مسدود شود یا امتیاز افت کند، build را ناموفق کنید.
REST API
یک URL بفرستید و JSON با امتیاز، یافتهها، شواهد و راهحلها بگیرید. هر دسته sitemap حداکثر 50 URL میپذیرد.
سرور MCP
Claude Code، Codex، Cursor یا هر کلاینت MCP را وصل کنید و بگذارید عامل بهجای شما صفحهها را ممیزی، مقایسه و پایش کند.
صفحه شما بدون JavaScript
متن و عنوانهایی را که خزندهها از HTML ارسالی سرور شما میگیرند، کنار آنچه مرورگر نشان میدهد ببینید.