ਡਿਵੈਲਪਰਾਂ ਲਈ AI ਕ੍ਰੌਲਰ ਜਾਂਚ
ਤੁਹਾਡੀ ਸਾਈਟ ਨੂੰ AI ਸਰਚ ਤੋਂ ਲੁਕਾਉਣ ਵਾਲਾ robots.txt ਨਿਯਮ, ਫਾਇਰਵਾਲ ਸੈਟਿੰਗ ਜਾਂ client-side 'ਤੇ ਰੈਂਡਰ ਹੋਣ ਵਾਲਾ ਪੰਨਾ production ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਪਹਿਲਾਂ ਫੜੋ।
GitHub Action
ਹਰ pull request 'ਤੇ preview deployment ਜਾਂਚੋ ਅਤੇ ਜਦੋਂ ਕੋਈ AI ਕ੍ਰੌਲਰ ਬਲੌਕ ਹੋਵੇ ਜਾਂ ਸਕੋਰ ਡਿੱਗੇ ਤਾਂ build ਫੇਲ੍ਹ ਕਰੋ।
REST API
ਇੱਕ URL ਭੇਜੋ ਅਤੇ ਸਕੋਰ, ਖੋਜਾਂ, ਸਬੂਤ ਅਤੇ ਹੱਲਾਂ ਵਾਲਾ JSON ਪ੍ਰਾਪਤ ਕਰੋ। Sitemap ਬੈਚਾਂ ਵਿੱਚ 50 URL ਤੱਕ ਆਉਂਦੇ ਹਨ।
MCP ਸਰਵਰ
Claude Code, Codex, Cursor ਜਾਂ ਕੋਈ ਵੀ MCP ਕਲਾਇੰਟ ਜੋੜੋ ਅਤੇ ਏਜੰਟ ਨੂੰ ਤੁਹਾਡੇ ਲਈ ਪੰਨਿਆਂ ਦਾ ਆਡਿਟ, ਤੁਲਨਾ ਅਤੇ ਨਿਗਰਾਨੀ ਕਰਨ ਦਿਓ।
JavaScript ਤੋਂ ਬਿਨਾਂ ਤੁਹਾਡਾ ਪੰਨਾ
ਤੁਹਾਡੇ ਸਰਵਰ ਵੱਲੋਂ ਭੇਜੇ HTML ਤੋਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਣ ਵਾਲਾ ਟੈਕਸਟ ਅਤੇ ਸਿਰਲੇਖ, ਬ੍ਰਾਊਜ਼ਰ ਜੋ ਦਿਖਾਉਂਦਾ ਹੈ ਉਸਦੇ ਨਾਲ ਦੇਖੋ।