robots.txt GPTBotను అనుమతిస్తోంది, కానీ సర్వర్ బ్లాక్ చేస్తోంది
మీ robots.txt ఈ క్రాలర్ పేజీని తెచ్చుకోవడానికి అనుమతిస్తోంది, కానీ దాని యూజర్ ఏజెంట్తో పంపిన అభ్యర్థనను సర్వర్, CDN లేదా ఫైర్వాల్ బ్లాక్ చేసింది. ప్రకటించిన విధానం, అసలు ప్రవర్తన సరిపోలడం లేదు. ఫైర్వాల్ నియమాన్ని robots.txtకు అనుగుణంగా మార్చండి, లేదా క్రాలర్ను బ్లాక్ చేయాలనుకుంటే robots.txtలో దాన్ని నిషేధించండి.
దీని అర్థం ఏమిటి
మీ రూల్స్ GPTBotను అనుమతిస్తున్నాయి, అయినా దాని యూజర్ ఏజెంట్తో పంపిన అభ్యర్థన బ్లాక్ అయింది. ఫైర్వాల్ లేదా CDN మీరు ప్రకటించిన విధానాన్ని అధిగమిస్తోంది.
AI సెర్చ్కు ఇది ఎందుకు ముఖ్యం
క్రాలర్లు robots.txtను మీ విధానంగా భావిస్తాయి. అది అవునని చెప్పి, సర్వర్ 403 ఇస్తే, క్రాలర్ అభ్యర్థనలను వృథా చేస్తుంది, తర్వాత మళ్లీ ప్రయత్నించవచ్చు, అయినా పేజీ జవాబు ఇంజిన్ ఇండెక్స్లోకి చేరదు. robots.txt అలా చెబుతోంది కాబట్టి AI సెర్చ్ను అనుమతిస్తున్నామని బృందాలు తరచుగా నమ్ముతాయి, కానీ ఏదో బాట్ నియమం దాన్ని నిశ్శబ్దంగా బ్లాక్ చేస్తుంటుంది.
పరీక్ష అభ్యర్థన ధృవీకరించని IP చిరునామా నుంచి వెళ్తుంది. కాబట్టి ప్రచురించిన IP పరిధుల నుంచి వచ్చినప్పుడే క్రాలర్ను అనుమతించే నియమం, ఇది సహేతుకమైన సెటప్ అయినప్పటికీ, అసలు క్రాలర్ లోపలికి వచ్చినా ఇక్కడ కనిపించవచ్చు. ఏదైనా మార్చే ముందు ఏ నియమం అమలైందో తనిఖీ చేయండి.
దీన్ని ఎలా సరిచేయాలి
- అంశంలోని robots.txt గ్రూప్ను, బ్లాక్ అయిన అభ్యర్థన స్టేటస్ను పోల్చండి. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
- అభ్యర్థనను బ్లాక్ చేసిన నియమాన్ని కనుగొనండి: Cloudflareలో Security → Events, AI Crawl Control, Bot Fight Mode సెట్టింగ్లను చూడండి; ఇతర CDNలలో బాట్ మేనేజ్మెంట్ లాగ్ను చూడండి.
- క్రాలర్ రావాలనుకుంటే దానికి మినహాయింపు జోడించండి; రాకూడదనుకుంటే దాని టోకెన్కు Disallow గ్రూప్ జోడించండి, అప్పుడు మీ విధానం ఒకే చోట ప్రకటించబడుతుంది.
పరిష్కారాన్ని ఎలా నిర్ధారించాలి
మార్పు తర్వాత రిపోర్ట్లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.