డెవలపర్ల కోసం AI క్రాలర్ తనిఖీలు
మీ సైట్ను AI సెర్చ్ నుంచి దాచే robots.txt నియమం, ఫైర్వాల్ సెట్టింగ్ లేదా client-sideలో రెండర్ అయ్యే పేజీని production చేరకముందే పట్టుకోండి.
GitHub Action
ప్రతి pull requestలో preview deploymentను తనిఖీ చేసి, AI క్రాలర్ బ్లాక్ అయినా స్కోర్ తగ్గినా buildను ఫెయిల్ చేయండి.
REST API
ఒక URL పంపి, స్కోర్, అంశాలు, ఆధారాలు, పరిష్కారాలతో JSON పొందండి. Sitemap బ్యాచ్లు 50 URLల వరకు తీసుకుంటాయి.
MCP సర్వర్
Claude Code, Codex, Cursor లేదా ఏదైనా MCP క్లయింట్ను కనెక్ట్ చేసి, ఏజెంట్ మీ కోసం పేజీలను ఆడిట్ చేయడానికి, పోల్చడానికి, మానిటర్ చేయడానికి అనుమతించండి.
JavaScript లేకుండా మీ పేజీ
మీ సర్వర్ పంపే HTML నుంచి క్రాలర్లకు వచ్చే టెక్స్ట్, హెడింగ్లను బ్రౌజర్ చూపించే దాని పక్కనే చూడండి.