AI క్రాలర్‌ల కోసం robots.txt టెస్టర్, చెకర్

పేజీ చిరునామాను నమోదు చేయండి: మేము సైట్ robots.txt‌ను చదివి, ప్రతి AI, సెర్చ్ క్రాలర్ ఆ పేజీని తెచ్చుకోవచ్చో లేదో చూపిస్తాం. లేదా ప్రచురించే ముందు పరీక్షించడానికి robots.txt‌ను అతికించండి.

robots.txt కేవలం ఒక అభ్యర్థన. robots.txt అనుమతించిన క్రాలర్‌ను కూడా ఫైర్‌వాల్ లేదా బాట్ ప్రొటెక్షన్ బ్లాక్ చేయవచ్చు; పూర్తి తనిఖీ దాన్ని పరీక్షిస్తుంది. పూర్తి తనిఖీ నడపండి →

మీరు ఉన్న పేజీకి అదే తనిఖీ, ఒక్క క్లిక్‌లో: AI క్రాలర్ చెకర్ ↗

AI క్రాలర్‌లు robots.txt‌ను ఎలా చదువుతాయి

ప్రతి క్రాలర్ తన టోకెన్ పేరున్న గ్రూప్‌ను (ఉదాహరణకు GPTBot లేదా PerplexityBot) అనుసరిస్తుంది; అలాంటిది ఏదీ లేకపోతేనే User-agent: *ను అనుసరిస్తుంది. ఒక గ్రూప్‌లో అత్యంత పొడవైన సరిపోలే రూల్ గెలుస్తుంది, సమానమైతే Allow గెలుస్తుంది. GPTBot, ClaudeBot లేదా Google-Extended వంటి ట్రైనింగ్ క్రాలర్‌లను బ్లాక్ చేస్తే మీ కంటెంట్ మోడల్ ట్రైనింగ్‌కు వెళ్లదు; OAI-SearchBot, ChatGPT-User లేదా PerplexityBot వంటి సెర్చ్, యూజర్ క్రాలర్‌లను బ్లాక్ చేస్తే మీ పేజీలు AI జవాబుల్లో కనిపించవు.

గైడ్

robots.txt టెస్టర్‌ను ఎలా ఉపయోగించాలి

ఈ పాఠ్యం ఇంగ్లీష్ నుంచి యంత్రం ద్వారా అనువదించబడింది.

ఈ robots.txt టెస్టర్ ఏమి తనిఖీ చేస్తుంది

ఒక పేజీ చిరునామాను నమోదు చేయండి. టెస్టర్ ఆ చిరునామా నుంచి స్కీమ్, హోస్ట్‌ను తీసుకుని, ఆ హోస్ట్ రూట్ నుంచి /robots.txtను చదివి, మీ పేజీ పాత్‌కు దాని నియమాలను అంచనా వేస్తుంది. 16 క్రాలర్‌లలో ఒక్కోదానికి ఒకే ప్రశ్నకు జవాబిస్తుంది: ఈ క్రాలర్ ఈ పేజీని తెచ్చుకోవచ్చా?

క్రాలర్‌లు అవి చేసే పనిని బట్టి గ్రూప్ చేయబడ్డాయి. ట్రైనింగ్ క్రాలర్‌లు AI మోడల్‌ల కోసం పేజీలను సేకరిస్తాయి: GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent, అలాగే robots.txtలో మాత్రమే ఉండే టోకెన్‌లు Google-Extended, Applebot-Extended. ఇవి ఎప్పుడూ సొంతంగా సందర్శించవు, కానీ ఇప్పటికే తెచ్చుకున్న పేజీలను Google, Apple ఉపయోగించవచ్చో లేదో చెబుతాయి. సెర్చ్ క్రాలర్‌లు AI జవాబులు, సెర్చ్ ఫలితాలు ఉటంకించే ఇండెక్స్‌లను నిర్మిస్తాయి: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, Applebot. ఒక వ్యక్తి అసిస్టెంట్‌ను పేజీ తెరవమని అడిగినప్పుడు యూజర్ ఏజెంట్‌లు ఆ పేజీని తెస్తాయి: ChatGPT-User, Claude-User, Perplexity-User.

చిరునామాకు బదులు robots.txtను కూడా అతికించవచ్చు. అప్పుడు ఏమీ తెచ్చుకోబడదు: టెస్టర్ మీరు అతికించిన పాఠ్యాన్ని అంచనా వేస్తుంది, కాబట్టి ప్రచురించే ముందే మార్పును ప్రయత్నించవచ్చు. అతికించిన పాఠ్యం జవాబు ఇవ్వడానికి మాత్రమే ఉపయోగించబడుతుంది, సేవ్ చేయబడదు.

ఫలితాలను ఎలా చదవాలి

పట్టికలో ఒక్కో క్రాలర్‌కు ఒక వరుస ఉంటుంది. మీ పాత్ కాలమ్‌లో అనుమతించబడింది లేదా బ్లాక్ చేయబడింది అని ఉంటుంది. చివరి కాలమ్ ఫైల్‌లోని ఏ భాగం నిర్ణయించిందో చెబుతుంది:

పట్టిక కింద ఫైల్ జాబితా చేసే Sitemap లైన్‌లు, అది ఉంటే దాని Content-Signal లైన్ కనిపిస్తాయి. చిరునామా టెక్స్ట్ ఫైల్‌కు బదులు వెబ్ పేజీని ఇచ్చినా, లేదా ఏ ఫైల్ ఇవ్వకపోయినా, టెస్టర్ ఆ విషయం చెబుతుంది: /robots.txt వద్ద ఉన్న HTML పేజీని క్రాలర్‌లు ఫైల్ లేనట్లే పరిగణిస్తాయి.

అనుమతించబడింది అని ఉన్న వరుస అర్థం robots.txt ఆ క్రాలర్‌ను ఆపదు అని మాత్రమే. క్రాలర్ సందర్శిస్తుందని దాని అర్థం కాదు, మీ ఫైర్‌వాల్ గురించి అది ఏమీ చెప్పదు.

క్రాలర్ తన నియమాలను ఎలా ఎంచుకుంటుంది

robots.txt ప్రమాణమైన RFC 9309 మూడు నియమాలను నిర్దేశిస్తుంది, ఆశ్చర్యపరిచే దాదాపు ప్రతి ఫలితాన్ని అవి వివరిస్తాయి. క్రాలర్ మొదట పెద్ద, చిన్న అక్షరాలను పట్టించుకోకుండా తన టోకెన్‌కు సరిపోయే User-agent ఉన్న గ్రూప్‌ల కోసం చూస్తుంది. ఒకటి దొరికితే, ఆ గ్రూప్‌లను మాత్రమే అనుసరించి User-agent: *ను పూర్తిగా విస్మరిస్తుంది. ఎంచుకున్న గ్రూప్‌లో, అత్యంత పొడవైన సరిపోలే పాత్ ఉన్న నియమం గెలుస్తుంది. ఒక Allow, ఒక Disallow ఒకే పొడవుతో సరిపోలితే Allow గెలుస్తుంది.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

ఈ ఫైల్‌తో GPTBot ప్రతి పేజీ నుంచి బ్లాక్ అవుతుంది, ఎందుకంటే దానికి సొంత గ్రూప్ ఉంది. మిగతా ప్రతి క్రాలర్ /private/press/kit.pdfను తెచ్చుకోవచ్చు, ఎందుకంటే Allow: /private/press/ అనేది Disallow: /private/ కంటే పొడవైనది. /private/notes/ నుంచి మాత్రం బ్లాక్ అవుతుంది. రెండు పాత్‌లనూ టెస్టర్‌లో పరీక్షించండి, నిర్ణయం ఒక గ్రూప్ నుంచి మరో గ్రూప్‌కు మారడం చూస్తారు.

సాధారణ పొరపాట్లు, ఉదాహరణలతో

ట్రైనింగ్, సెర్చ్, యూజర్ క్రాలర్‌లు: ఒక్కోదాన్ని బ్లాక్ చేస్తే ఏమవుతుంది

ట్రైనింగ్ క్రాలర్‌ను బ్లాక్ చేయడం ఒక విధాన నిర్ణయం. ఇది మీ పేజీలను భవిష్యత్ మోడల్ ట్రైనింగ్‌కు దూరంగా ఉంచుతుంది, ఈ రోజు AI సెర్చ్ మిమ్మల్ని ఉటంకించగలదో లేదో దానిపై ప్రభావం చూపదు. OAI-SearchBot, Claude-SearchBot లేదా PerplexityBot వంటి సెర్చ్ క్రాలర్‌ను బ్లాక్ చేస్తే మీ పేజీలు ఆ అసిస్టెంట్ జవాబులకు దూరంగా ఉంటాయి. Googlebot లేదా Bingbotను బ్లాక్ చేస్తే ఆ సెర్చ్ ఇంజిన్‌ల నుంచి, వాటిపై నిర్మించిన AI ఫీచర్‌ల నుంచి మీరు తొలగిపోతారు.

ChatGPT-User వంటి యూజర్ ఏజెంట్‌లు మీ పేజీని అడిగిన వ్యక్తి తరఫున పనిచేస్తాయి. అలాంటి అభ్యర్థనలకు ఈ ఏజెంట్‌లు robots.txtను పాటించకపోవచ్చని కొన్ని కంపెనీలు చెబుతాయి, కాబట్టి వాటి కోసం రాసిన నియమం ఒక అభ్యర్థన మాత్రమే, హామీ కాదు. ట్రైనింగ్ ఆఫ్, AI సెర్చ్ ఆన్ కావాలంటే, ట్రైనింగ్ టోకెన్‌లను బ్లాక్ చేసి సెర్చ్, యూజర్ టోకెన్‌లను అలాగే వదిలేయండి.

ప్రచురించే ముందు పరీక్షించండి, ఆ తర్వాత మళ్లీ పరీక్షించండి

మీ డ్రాఫ్ట్‌ను టెస్టర్‌లో అతికించి, ప్రోడక్ట్ లేదా ధరల పేజీ వంటి ముఖ్యమైన పేజీ పాత్‌ను సెట్ చేసి, మీకు ముఖ్యమైన ప్రతి క్రాలర్ వరుసను చదవండి. మీరు బ్లాక్ చేయాలనుకున్న పాత్‌తో మళ్లీ చేయండి. ఫలితాలు మీ ఉద్దేశానికి సరిపోయినప్పుడు, ఫైల్‌ను ప్రచురించి లైవ్ చిరునామాతో టెస్టర్‌ను మళ్లీ నడపండి. మీరు సవరించిన ఫైల్‌నే సర్వర్ ఇస్తోందని అది నిరూపిస్తుంది.

క్రాలర్‌లు robots.txtను క్యాష్ చేస్తాయి; ఉదాహరణకు Google సాధారణంగా 24 గంటల్లో తన కాపీని రిఫ్రెష్ చేస్తుంది. మార్పు వాటి ప్రవర్తనలో కనిపించడానికి ఒక రోజు పట్టవచ్చు, Google Search Consoleలోని robots.txt రిపోర్ట్ Google చివరిగా తెచ్చుకున్న కాపీని చూపిస్తుంది.

robots.txt క్రాలర్‌ను అనుమతించినా అది ఇంకా బ్లాక్ అయినప్పుడు

robots.txt ఒక అభ్యర్థన మాత్రమే. మనుషులకు పేజీ అందుతున్నా, ఫైర్‌వాల్, బాట్ రక్షణ సేవ లేదా CDN నియమం క్రాలర్‌కు 403 లేదా చాలెంజ్ పేజీతో జవాబివ్వవచ్చు. టెస్టర్ ఒక ఫైల్‌ను మాత్రమే చదువుతుంది కాబట్టి దాన్ని చూడలేదు. పూర్తి తనిఖీ మీ పేజీని సాధారణ బ్రౌజర్‌తో పాటు ఒక్కో క్రాలర్ యూజర్ ఏజెంట్‌తో తెచ్చి, ఏ క్రాలర్‌కు వేరే జవాబు వస్తుందో HTTP స్టేటస్, ఫైర్‌వాల్ సిగ్నేచర్‌తో సహా చూపిస్తుంది.

తరచుగా అడిగే ప్రశ్నలు

ఇది Google robots.txt Testerతో సమానమేనా?

కాదు. Google తన ప్రత్యేక robots.txt Testerను 2023లో నిలిపివేసింది; ఇప్పుడు Search Consoleలోని robots.txt రిపోర్ట్ Google తెచ్చుకున్న ఫైల్‌ను, ఏవైనా పార్సింగ్ ఎర్రర్‌లను Google క్రాలర్‌లకు మాత్రమే చూపిస్తుంది. ఈ టెస్టర్ అవే RFC 9309 నియమాలను ఒకేసారి 16 AI, సెర్చ్ క్రాలర్‌లకు వర్తింపజేస్తుంది.

అనుమతించబడింది అంటే క్రాలర్ నా పేజీని చదువుతుందని లేదా ఉటంకిస్తుందని అర్థమా?

కాదు. robots.txt దాన్ని నిషేధించదని మాత్రమే అర్థం. క్రాలర్‌కు పేజీ అందుతుందా అనేది మీ సర్వర్, ఫైర్‌వాల్‌పై ఆధారపడి ఉంటుంది; అసిస్టెంట్ దాన్ని ఉటంకిస్తుందా అనేది మీ కంటెంట్‌పై, అడిగిన ప్రశ్నపై ఆధారపడి ఉంటుంది.

ఒక క్రాలర్‌కు “నియమం లేదు” అని ఎందుకు కనిపిస్తుంది?

మీ ఫైల్‌లో దాని టోకెన్ కోసం గ్రూప్ లేదు, User-agent: * గ్రూప్ కూడా లేదు, కాబట్టి దానికి ఏదీ వర్తించదు, ప్రతి పాత్ అనుమతించబడుతుంది.

ఇంకా ప్రచురించని robots.txtను పరీక్షించవచ్చా?

అవును. పాఠ్యాన్ని రెండో ఫీల్డ్‌లో అతికించి, పరీక్షించాల్సిన పాత్‌ను నమోదు చేయండి. మీ సైట్ నుంచి ఏమీ తెచ్చుకోబడదు, అతికించిన పాఠ్యం సేవ్ చేయబడదు.

టెస్టర్ GPTBot లేదా ఇతర క్రాలర్‌లుగా అభ్యర్థనలు పంపుతుందా?

లేదు. ఇది మీ robots.txtను చదివి నియమాలను వర్తింపజేస్తుంది, అంతే. ప్రతి క్రాలర్‌కు మీ సర్వర్ నుంచి నిజంగా ఏమి అందుతుందో చూడటానికి పూర్తి తనిఖీ నడపండి.

దీన్ని ఎంత తరచుగా ఉపయోగించవచ్చు?

ఇది ఉచితం, ఖాతా అవసరం లేదు. అందరికీ అందుబాటులో ఉంచడానికి, ఒక్కో నెట్‌వర్క్ గంటకు పరిమిత సంఖ్యలో పరీక్షలు మాత్రమే నడపగలదు.

సంబంధిత టూల్స్, గైడ్‌లు