Cloudflare AI Crawl Control రిపోర్ట్ను ఎలా చదవాలి, ఏ AI క్రాలర్లు లోపలికి వస్తాయో ఎలా చూడాలి
మీ Cloudflare డాష్బోర్డ్లో AI Crawl Control తెరవండి: క్రాలర్ జాబితా మీ డొమైన్లో Cloudflare చూసిన ప్రతి AI క్రాలర్ను, దాని అభ్యర్థనలను, robots.txt ఉల్లంఘనలను, దాని చర్య Allow లేదా Block అని చూపిస్తుంది. ట్రైనింగ్ను నిరాకరిస్తూ AI సెర్చ్ను ఉంచడానికి, సెర్చ్, ఏజెంట్ క్రాలర్లను అనుమతించి, ట్రైనింగ్ క్రాలర్లను అక్కడ లేదా AI Crawler and Agent access policies కింద బ్లాక్ చేయండి లేదా నిషేధించండి. తర్వాత curlతో బయటి నుంచి నిర్ధారించుకోండి, ఎందుకంటే మీరు అనుమతించిన క్రాలర్ను ఇతర Cloudflare ఫీచర్లు ఇంకా బ్లాక్ చేయవచ్చు.
AI క్రాలర్లకు ఏమి అందుతుందో నిర్ణయించే రెండు చోట్లు ఇప్పుడు Cloudflareలో ఉన్నాయి: ఒక్కో క్రాలర్ రిపోర్ట్, స్విచ్బోర్డ్ అయిన AI Crawl Control, దీన్ని ఇంతకు ముందు AI Audit అనేవారు, Security settings కింద జోన్ మొత్తానికి వర్తించే AI Crawler and Agent access policies. రెండూ Free ప్లాన్లో అందుబాటులో ఉన్నాయి, రెండూ 2026లో మారాయి, క్రాలర్కు 403తో జవాబివ్వగల మిగతా ఫీచర్ల గురించి వీటిలో ఏదీ చెప్పదు. ఈ గైడ్ రిపోర్ట్ను కాలమ్ వారీగా వివరిస్తుంది, allow, block ఎక్కడ సెట్ చేయాలో చూపిస్తుంది, మీ సొంత కంప్యూటర్ నుంచి నడపగల పరీక్షతో ముగుస్తుంది.
ఈ పేజీలో
- Cloudflareలో AI క్రాలర్ రిపోర్ట్ ఎక్కడ ఉంది?
- AI Crawl Control రిపోర్ట్లో ప్రతి కాలమ్, మెట్రిక్ అర్థం ఏమిటి?
- Cloudflareలో AI సెర్చ్ క్రాలర్లను అనుమతించి, ట్రైనింగ్ క్రాలర్లను ఎలా బ్లాక్ చేయాలి?
- Cloudflare AI క్రాలర్ డిఫాల్ట్లలో ఏమి మారింది?
- నేను అనుమతించిన తర్వాత కూడా Cloudflare AI క్రాలర్లను ఎందుకు బ్లాక్ చేస్తోంది?
- Cloudflare ఏ AI క్రాలర్లను లోపలికి అనుమతిస్తుందో బయటి నుంచి ఎలా నిర్ధారించాలి?
- Cloudflare AI క్రాలర్లకు ఏమి పంపుతుందో AISeeWhy ఎలా తనిఖీ చేస్తుంది?
Cloudflareలో AI క్రాలర్ రిపోర్ట్ ఎక్కడ ఉంది?
డాష్బోర్డ్లో మీ ఖాతా, డొమైన్ను ఎంచుకుని, AI Crawl Control తెరవండి. ఇది కాన్ఫిగరేషన్ లేకుండా పనిచేస్తుందని, మీ డొమైన్ ట్రాఫిక్ Cloudflare ద్వారా ప్రాక్సీ అయితే అన్ని ప్లాన్లలో అందుబాటులో ఉంటుందని Cloudflare చెబుతుంది. ఇందులో నాలుగు విభాగాలు ఉన్నాయి:
- Overview: మొత్తం అభ్యర్థనలు, వాల్యూమ్లో మార్పు, అత్యంత సాధారణ స్టేటస్ కోడ్, అత్యంత జనాదరణ పొందిన పాత్, ఎక్కువ వాల్యూమ్ ఉన్న క్రాలర్లతో కూడిన సారాంశం, Cloudflare managed robots.txt ఆన్లో ఉందా, OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta వంటి ఆపరేటర్ వారీగా క్రాలర్లు.
- క్రాలర్ జాబితా: ఒక్కో AI క్రాలర్కు ఒక వరుస, Action కాలమ్లో మీరు Allow లేదా Block ఎంచుకుంటారు. Cloudflare డాక్యుమెంటేషన్ ఈ ట్యాబ్ను ఒక పేజీలో Crawlers అని, మరో పేజీలో Security అని పిలుస్తుంది, కాబట్టి Action కాలమ్ ఉన్న టేబుల్ కోసం చూడండి.
- Metrics: కాలక్రమంలో అభ్యర్థనలు, స్టేటస్ కోడ్ పంపిణీ, కంటెంట్ ఫార్మాట్, అత్యంత జనాదరణ పొందిన పాత్లు, పెయిడ్ ప్లాన్లలో రిఫరల్స్. ఫిల్టర్లలో తేదీ పరిధి, క్రాలర్, ఆపరేటర్, హోస్ట్నేమ్, పాత్ ఉంటాయి, CSVగా ఎగుమతి చేయవచ్చు.
- Directives: మీ robots.txt ఫైల్ ఆరోగ్యం, robots.txt ఉల్లంఘనల జాబితా.
సంఖ్యలు చదివేటప్పుడు రెండు ప్లాన్ పరిమితులు ముఖ్యం. Free ప్లాన్లో AI Crawl Control క్రాలర్లను వాటి యూజర్ ఏజెంట్ స్ట్రింగ్ ద్వారా మాత్రమే గుర్తిస్తుంది, కాబట్టి తమను తాము ప్రకటించుకునే క్రాలర్లనే చూస్తుంది, Metrics ట్యాబ్ గత 24 గంటలను కవర్ చేస్తుంది. పెయిడ్ ప్లాన్లు Bot Management detection ID ద్వారా గుర్తింపును జోడిస్తాయి, Bot Managementతో Enterpriseకు కాన్ఫిగర్ చేయగల సమయ వ్యవధులు లభిస్తాయి.
AI Crawl Control రిపోర్ట్లో ప్రతి కాలమ్, మెట్రిక్ అర్థం ఏమిటి?
Cloudflare ఫీల్డ్లను ఇలా డాక్యుమెంట్ చేస్తుంది. నిర్వచనాలు ముఖ్యం, ఎందుకంటే కొన్ని సంఖ్యలు మీరు ఊహించిన దానికంటే ఎక్కువ లెక్కిస్తాయి.
- Crawler, Category: క్రాలర్ పేరు, దాని ఆపరేటర్, AI crawler, AI assistant లేదా archiver వంటి దాని కేటగిరీ.
- Requests: అనుమతించిన, విఫలమైన అభ్యర్థనలు కలిపి, ట్రెండ్ చార్ట్తో. విఫలమైన అభ్యర్థనలు AI Crawl Control బ్లాక్ నుంచే కాకుండా ఏ రూల్ లేదా రెస్పాన్స్ ఎర్రర్ నుంచైనా రావచ్చు, కాబట్టి మీరు అనుమతించిన క్రాలర్కు ఈ సంఖ్య ఎక్కువగా ఉంటే, అది మరో రూల్ను లేదా మీ ఆరిజిన్లో ఎర్రర్లను సూచిస్తుంది.
- Allowed requests: 200 నుంచి 299 మధ్య స్టేటస్ పొందిన అభ్యర్థనలు. డేటా ట్రాన్స్ఫర్ అనుమతించిన అభ్యర్థనలకు Cloudflare పంపిన బైట్ల నుంచి కొలవబడుతుంది.
- Robots.txt violations: మీ robots.txt నిషేధించిన పాత్ను క్రాలర్ ఎన్నిసార్లు అభ్యర్థించింది. Cloudflare గత అభ్యర్థనలను మీ ప్రస్తుత రూల్స్తో పోల్చుతుంది, కాబట్టి ఈరోజు జోడించిన రూల్, చేసిన సమయంలో అనుమతి ఉన్న అభ్యర్థనలను ఉల్లంఘనలుగా చూపించవచ్చు.
- Action: Allow, Block, లేదా pay per crawl బీటాలోని ఖాతాలకు Charge.
- స్టేటస్ కోడ్ పంపిణీ: 2xx, 3xx, 4xx, 5xx. 4xx గ్రూప్లో బ్లాక్ల నుంచి వచ్చే 403, pay per crawl నుంచి వచ్చే 402 ఉంటాయి.
- Referrals, top referrers, పెయిడ్ ప్లాన్లలో మాత్రమే: ఉదాహరణకు chatgpt.com నుంచి, AI సేవల నుంచి వచ్చిన సందర్శనలు, అవి చేరిన పేజీలు.
మీరు ఎంచుకున్న చర్య నుంచి రిపోర్ట్ను చదవండి. Allowకు సెట్ చేసిన క్రాలర్కు ఎక్కువగా అనుమతించిన అభ్యర్థనలు, 2xx కోడ్లు కనిపించాలి. చాలా విఫలమైన అభ్యర్థనలు కనిపిస్తే, ఆ క్రాలర్కు ఫిల్టర్ చేసిన స్టేటస్ కోడ్ పంపిణీని తెరిచి, జవాబిచ్చిన రూల్ను కనుగొనడానికి Security Analytics చూడండి.
Cloudflareలో AI సెర్చ్ క్రాలర్లను అనుమతించి, ట్రైనింగ్ క్రాలర్లను ఎలా బ్లాక్ చేయాలి?
దీన్ని ఒక్కో క్రాలర్ వారీగా లేదా ప్రవర్తన వారీగా చేయవచ్చు. ఒక్కో క్రాలర్ వారీగా: AI Crawl Control తెరిచి ప్రతి వరుసకు Action సెట్ చేయండి. అక్కడ బ్లాక్ చేస్తే మీ జోన్లో WAF కస్టమ్ రూల్ సృష్టించబడుతుందని లేదా అప్డేట్ అవుతుందని, పాత్ మినహాయింపుల కోసం దాన్ని WAFలో విస్తరించవచ్చని Cloudflare చెబుతుంది. పెయిడ్ ప్లాన్లలో బ్లాక్ అయిన క్రాలర్లకు 403 లేదా 402 ఇవ్వాలో ఎంచుకుని, సాదా టెక్స్ట్ బాడీని సెట్ చేయవచ్చు.
ప్రవర్తన వారీగా: Security, తర్వాత Settingsకు వెళ్లి, Bot trafficతో ఫిల్టర్ చేసి, AI Crawler and Agent access policies తెరవండి. Cloudflare AI ట్రాఫిక్ను మూడు ప్రవర్తనలుగా విభజిస్తుంది, ప్రతి పాలసీ ఆ ప్రవర్తన ఉన్న verified బాట్లకు, సరిపోలే unverified బాట్లకు వర్తిస్తుంది:
- Search: తర్వాత ప్రశ్నలకు జవాబివ్వడానికి కంటెంట్ను సేకరించడం లేదా ఇండెక్స్ చేయడం.
- Agent: చాట్ ఫెచ్లు, బ్రౌజర్ ఏజెంట్ల వంటి, ఒక వ్యక్తి తరఫున రియల్ టైమ్లో పనిచేయడం.
- Training: మోడల్లకు ట్రైనింగ్ లేదా ఫైన్-ట్యూనింగ్ కోసం కంటెంట్ సేకరించడం, ట్రైనింగ్, సెర్చ్ రెండింటికీ ఉపయోగించే క్రాలర్లతో సహా.
ప్రతి ప్రవర్తనను Block, Block on pages with ads లేదా Allow (do not block)కు సెట్ చేయవచ్చు. Trainingకు Disallow కూడా ఉంది, అది robots.txt ద్వారా క్రాలర్లను అడుగుతుంది మాత్రమే. Bot Preference Sync ఆన్లో ఉంటే, Cloudflare మీ robots.txt ముందు Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagentను నిషేధించే managed రూల్స్ను జోడిస్తుంది, Content Signals లైన్ను జోడిస్తుంది, సెర్చ్, ట్రైనింగ్ రెండింటికీ ఉపయోగించే క్రాలర్లు తప్ప AI ట్రైనింగ్ క్రాలర్లను edge వద్దే బ్లాక్ చేస్తుంది.
AI ఉటంకింపులు కోరుకునే చాలా సైట్లకు సురక్షితమైన కలయిక: Search, Agent Allowలో, Training Disallowలో, తర్వాత edge వద్ద ఆపాలనుకునే ట్రైనింగ్-మాత్రమే క్రాలర్లకు AI Crawl Controlలో విడిగా Block చర్యలు.
Cloudflare AI క్రాలర్ డిఫాల్ట్లలో ఏమి మారింది?
జూలై 1, 2025న Cloudflare, AI క్రాలర్లు సృష్టికర్తలకు చెల్లించకపోతే వాటిని బ్లాక్ చేసేలా డిఫాల్ట్ను మారుస్తున్నట్టు ప్రకటించింది. జూలై 1, 2026న, ఒకే Block AI bots స్విచ్ స్థానంలో పైన చెప్పిన వేర్వేరు Search, Agent, Training పాలసీలను Freeతో సహా అన్ని ప్లాన్లకు తెచ్చింది. సెప్టెంబర్ 15, 2026 నుంచి చేరే కొత్త డొమైన్లలో ప్రకటనలు చూపే పేజీలపై Training, Agent బ్లాక్ అయి, Search అనుమతించబడుతుందని అదే ప్రకటన చెప్పింది.
నవంబర్ 2, 2026న చివరిగా అప్డేట్ అయిన Cloudflare ప్రస్తుత పాలసీ డాక్యుమెంటేషన్ కొత్త డొమైన్లకు మూడు ప్రవర్తనలూ డిఫాల్ట్గా Allow (do not block) అని చెబుతుంది. Cloudflare సొంత పేజీలు వేర్వేరు సమయాల్లో వేర్వేరు డిఫాల్ట్లను వివరించాయి కాబట్టి, మీ జోన్ కోసం వాటిలో దేనిపైనా ఆధారపడకండి: పాలసీ పేజీ తెరిచి ఏమి సెట్ అయిందో చదవండి.
నేను అనుమతించిన తర్వాత కూడా Cloudflare AI క్రాలర్లను ఎందుకు బ్లాక్ చేస్తోంది?
AI Crawl Controlలోని Allow చర్య AI Crawl Control బ్లాక్ చేయకుండా మాత్రమే ఆపుతుంది. ఇతర ఫీచర్లు అభ్యర్థనపై ఇంకా పనిచేస్తాయి. సాధారణ కారణాలు:
- Trainingను బ్లాక్ చేస్తే రెండూ చేసే సెర్చ్ క్రాలర్లు కూడా బ్లాక్ అవుతాయి. Training చర్యలు మిశ్రమ ప్రయోజన క్రాలర్లకు వర్తిస్తాయని Cloudflare డాక్యుమెంటేషన్ చెబుతుంది, Trainingను బ్లాక్ చేసే కస్టమర్లు సెప్టెంబర్ 15, 2026 నుంచి బ్లాక్ చేసే క్రాలర్లుగా దాని జూలై 2026 ప్రకటన Googlebot, Applebot, bingbotను పేర్కొంటుంది. Disallow ఇరుకైన ఎంపిక, ఎందుకంటే దాని edge బ్లాక్ మిశ్రమ ప్రయోజన క్రాలర్లను వదిలేస్తుంది.
- Bot Fight Mode ఆన్లో ఉంది. WAF కస్టమ్ రూల్స్ లేదా Page Rulesతో Bot Fight Modeను దాటవేయలేరని Cloudflare చెబుతుంది. అది క్రాలర్కు ఛాలెంజ్ ఇస్తే, దాన్ని ఆఫ్ చేయండి, లేదా అందుబాటులో ఉన్న ప్లాన్లో skip రూల్స్కు మద్దతిచ్చే Super Bot Fight Mode ఉపయోగించండి.
- పాత WAF కస్టమ్ రూల్
botఉన్న యూజర్ ఏజెంట్లను బ్లాక్ చేస్తుంది, లేదా rate limiting రూల్ వరుస అభ్యర్థనలకు 429తో జవాబిస్తుంది. AI Crawl Controlలోని Actionతో సంబంధం లేకుండా ఇవి నడుస్తాయి. - బ్లాక్ రూల్ను చేతితో ఎడిట్ చేశారు. AI Crawl Control వెనుక ఉన్న WAF రూల్ను వేరే రెస్పాన్స్ కోడ్కు మార్చితే, డాష్బోర్డ్ మీ ఎంపికను అమలు చేయలేదు.
- robots.txt ఇంకా క్రాలర్ను నిషేధిస్తోంది. Cloudflare Allow మీ robots.txtను మార్చదు, కాబట్టి మర్యాదగల క్రాలర్ ఎలాగూ దూరంగా ఉంటుంది. అత్యంత జనాదరణ పొందిన 1,000 డొమైన్లపై మా అధ్యయనంలో, robots.txtలో AI ట్రైనింగ్ క్రాలర్ను బ్లాక్ చేసిన 155 సైట్లలో 98 కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను కూడా బ్లాక్ చేశాయి.
Cloudflare ఏ AI క్రాలర్లను లోపలికి అనుమతిస్తుందో బయటి నుంచి ఎలా నిర్ధారించాలి?
అదే పేజీని బ్రౌజర్ యూజర్ ఏజెంట్తో, ప్రతి క్రాలర్ యూజర్ ఏజెంట్తో అభ్యర్థించి, స్టేటస్, పరిమాణాన్ని పోల్చండి. కింద ఉన్న OpenAI, Perplexity, Google స్ట్రింగ్లు ఆ కంపెనీలు ప్రచురించినవే.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" క్రాలర్ లైన్లో 403, 429 లేదా 503 వస్తే, లేదా బ్రౌజర్ లైన్ కంటే పరిమాణం చాలా తక్కువగా ఉంటే, మీ ఆరిజిన్ ముందున్న ఏదో వేరేగా జవాబిచ్చిందని అర్థం. Free ప్లాన్లో AI Crawl Control క్రాలర్లను యూజర్ ఏజెంట్తో గుర్తిస్తుంది, కాబట్టి దాని బ్లాక్లకు ఈ పరీక్ష సరైన తనిఖీ. verified bot స్థితి లేదా bot scoreల ఆధారంగా ఉండే రూల్స్ మీ అభ్యర్థనను అసలు క్రాలర్కు భిన్నంగా చూడవచ్చు, ఎందుకంటే అది ఆపరేటర్ ప్రచురించిన పరిధుల నుంచి కాకుండా మీ IP చిరునామా నుంచి వస్తుంది. పరీక్ష తర్వాత, ఏ రూల్ సరిపోలిందో చూడటానికి Security Analyticsలో మీ సొంత అభ్యర్థనల కోసం చూడండి.
Cloudflare AI క్రాలర్లకు ఏమి పంపుతుందో AISeeWhy ఎలా తనిఖీ చేస్తుంది?
ఉచిత AISeeWhy తనిఖీ మీ పేజీని అసలు బ్రౌజర్తో పాటు 16 AI, సెర్చ్ క్రాలర్లుగా అభ్యర్థిస్తుంది, ప్రతి క్రాలర్కు మీ robots.txt వర్తింపజేస్తుంది, ఫైర్వాల్ ఛాలెంజ్ పేజీలను గుర్తిస్తుంది, కాబట్టి Cloudflare డాష్బోర్డ్లోని ఫలితం క్రాలర్లకు నిజంగా అందే దానితో సరిపోలుతుందో చూడగలరు.
ఈ సమస్యకు పరిష్కారాలు
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
Cloudflare AI Crawl Control ఉచితమా?
అవును. AI Crawl Control అన్ని ప్లాన్లలో అందుబాటులో ఉందని Cloudflare చెబుతుంది. Free ప్లాన్ క్రాలర్లను యూజర్ ఏజెంట్తో మాత్రమే గుర్తిస్తుంది, Metricsలో గత 24 గంటలను చూపిస్తుంది; రిఫరల్ డేటా, కస్టమ్ బ్లాక్ రెస్పాన్స్లకు పెయిడ్ ప్లాన్ కావాలి.
Cloudflare AI Audit ఏమైంది?
దాని పేరు మారింది. Cloudflare డాక్యుమెంటేషన్ AI Crawl Controlను ఇంతకు ముందు AI Audit అని వివరిస్తుంది, ఉద్దేశం అదే: ఏ AI క్రాలర్లు సందర్శిస్తాయో చూడటం, ప్రతిదానికి చర్యను సెట్ చేయడం.
AI Crawl Controlలో క్రాలర్ను బ్లాక్ చేస్తే నా robots.txt మారుతుందా?
లేదు. Block చర్య WAF కస్టమ్ రూల్ను సృష్టిస్తుంది లేదా అప్డేట్ చేస్తుంది. Bot Preference Syncతో Training కోసం Disallow ఎంపిక ఉపయోగిస్తేనే robots.txt మారుతుంది, అది మీ ఫైల్ ముందు Cloudflare managed రూల్స్ను జోడిస్తుంది.
Cloudflareలో robots.txt ఉల్లంఘనగా దేన్ని లెక్కిస్తారు?
మీ robots.txt నిషేధించిన పాత్కు AI క్రాలర్ చేసిన అభ్యర్థన. Cloudflare గత అభ్యర్థనలను మీ ప్రస్తుత రూల్స్తో పోల్చుతుంది, కాబట్టి కొత్త రూల్ ఆ సమయంలో అనుమతి ఉన్న పాత అభ్యర్థనలను ఉల్లంఘనలుగా చూపించవచ్చు.
pay per crawl అంటే ఏమిటి?
AI క్రాలర్లను ఒక్కో అభ్యర్థనకు చెల్లించమని అడిగే Charge చర్య, లేకపోతే HTTP 402, ధరతో జవాబిస్తుంది. Cloudflare దీన్ని క్లోజ్డ్ బీటాగా వివరిస్తుంది, WAF లేదా Bot Management బ్లాక్లకు దానిపై ప్రాధాన్యత ఉంటుంది.
మూలాలు
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI క్రాలర్ యాక్సెస్ రిపోర్ట్, 2026-11