Он бизнес-сайттың төртеуі AI краулерлерін кіргізбейді
АҚШ, Ұлыбритания және Францияның 165 бизнес-сайтына жүргізген аудитімізде 38%-ы кемінде бір AI краулерін сервер деңгейінде қайтарды, әдетте оқыту немесе скрапинг ботын. Он сайттың шамамен біреуі PerplexityBot немесе OAI-SearchBot сияқты AI іздеу краулерін де қабылдамады, ал дәл осы краулерлер дереккөз ретінде сілтеме берілуіне әкелуі мүмкін. Сайтыңызды әр краулер үшін бір сұраныспен тексеріңіз.
Сіз ChatGPT-тен өз өніміңіз туралы сұрайсыз, ал ол бәсекелесті, шолу сайтын және форум тақырыбын атайды. Кейде бұл контентке байланысты. Көбіне брандмауэр AI краулерлеріне бас тартады, бірақ сайт браузерде жұмыс істейтіндіктен, мұны команданың ешкімі көрмейді.
Осы бетте
Біз не тексердік?
Біз бір мекенжайдан бір бетті бірнеше рет сұраймыз: бір рет қарапайым браузер ретінде, содан кейін 14 AI және іздеу краулерінің әрқайсысы ретінде, олардың ішінде OpenAI-дың GPTBot, OAI-SearchBot және ChatGPT-User, Anthropic-тің ClaudeBot және Claude-SearchBot, Perplexity-дің PerplexityBot краулерлері бар. Браузер бетті алып, ал краулер 401, 403, 406, 429, 451, 503 коды немесе тексеру беті алса, сайт сол краулерді қайтарып жатыр деген сөз.
Таңдамада АҚШ, Ұлыбритания және Францияның 218 бизнес-сайты бар, аудит 2026 жылғы 18–21 қарашада жүргізілді. Толық тексеруді 165 сайтқа жасай алдық. Қалған 53 сайт қарапайым браузер сұранысымызға да бас тартты немесе жауап бермеді, сондықтан оларды болжап жатпай, нәтижеден шығарып тастадық.
Біз не таптық?
- Тексеруге болатын сайттардың 38%-ы (165-тің 63-і) кемінде бір AI краулерін қайтарды.
- Осы сайттардың әрқайсысы кемінде бір оқыту немесе скрапинг краулерінен бас тартты.
Bytespiderбарлық сайттардың 35%-ында,ClaudeBot13%-ында,GPTBot11%-ында қайтарылды. - Сайттардың 10%-ы (16) кемінде бір AI іздеу краулерінен де бас тартты, ал 5%-ы (8) пайдаланушы көмекшіден бет туралы сұраған сәтте бетті тікелей ашатын краулерді қайтарды.
- Ең маңызды іздеу краулерлері
PerplexityBot(11 сайт) жәнеOAI-SearchBot(5 сайт) болды. - Біз тексерген кез келген краулерді қайтарған 66 сайттың 32-сінің артында Cloudflare тұрды. Тағы 30 сайтта жауапты қандай брандмауэр бергенін анықтай алмадық.
Бұл неге болады және қашан бұл саналы таңдау?
Мұның көбі, сірә, әдейі жасалған. Көптеген иелер контентінің модельдерді оқытуға пайдаланылғанын қаламайды, ал скрапер ботты бөгейтін қорғаныс параметрлерін қосу оңай. Бұл орынды таңдау.
Бірақ мәселе мынада: AI компаниялары оқыту және іздеу үшін бөлек краулерлер қолданады. Оқыту краулерін бөгеу үшін іздеу краулерін бөгеудің қажеті жоқ, ал жауапта бетіңізге сілтеме берілуіне әкелетіні дәл іздеу краулері.
Ірі сайттар жақсырақ па?
Жоқ, олай емес. Ең танымал 1 000 домен бойынша robots.txt есебімізде robots.txt бар сайттардың 29,9%-ы кемінде бір AI оқыту краулерін бөгейді, ал солардың 63,2%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін де бөгейді. Оқытуды бөгеп, барлық AI іздеу краулеріне рұқсат беретін, яғни олардың көбі қалаған баптауды тек 11,0%-ы қолданады.
Өз сайтымды он минутта қалай тексеремін?
yoursite.com/robots.txtфайлын ашыңыз. Өзіңізге қажет әр AI краулері үшін оны атайтын топ бар-жоғын және топтың не айтатынын қараңыз. Краулерді атайтын топ жалпы*тобын толығымен алмастырады.- Файл не айтатынын емес, сервер не істейтінін тексеріңіз. Негізгі бетті браузер ретінде де, краулер ретінде де сұраңыз. 403, 429,
Just a moment...деген тақырыпты бет немесе браузерге берілгеннен әлдеқайда аз жауап көлемі брандмауэрдің бөгегенін білдіреді. - Көмекшіден сұраңыз. Іздеуді қосып, ChatGPT-ден немесе Perplexity-ден сатып алушыларыңыз қоятын сұрақтарды қойып, қай сайттарға сілтеме жасайтынын көріңіз. Қолжетімділік дұрыс болып, бірақ сіз әлі де көрінбесеңіз, мәселе қолжетімділікте емес, контентте.
Бұл сандарға қаншалықты сенуге болады?
Оларды санақ емес, заңдылық деп қабылдаңыз. Таңдама кездейсоқ емес: бұл компаниялар жарнама кітапханалары, жұмыс іздеу сайттары және карта тізімдері арқылы табылды. Біз бір мекенжайдан user agent бойынша тексереміз, ал нақты краулерлер өз өндірушілері жариялаған мекенжайлардан келеді, сондықтан кейбір брандмауэрлер нақтыларына басқаша қарар еді. Және бөгеу әрдайым қате емес.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Сайттардың қандай бөлігі AI краулерлерін бөгейді?
Тексеруге болатын 165 бизнес-сайтқа жүргізген аудитімізде 38%-ы кемінде бір AI краулерін сервер деңгейінде қайтарды, көбіне оқыту және скрапер боттарын. Шамамен 10%-ы AI іздеу краулерінен де бас тартты.
GPTBot бөгелсе, сайтым ChatGPT іздеуінен шығып қала ма?
Жоқ. OpenAI өз краулерлерінің әрбір robots.txt параметрі тәуелсіз екенін айтады: GPTBot оқытуға, OAI-SearchBot ChatGPT іздеуіне қатысты. Біреуін бөгеу екіншісін бөгемейді.
Сайт краулерді robots.txt-сіз қалай бөгей алады?
Брандмауэр, CDN немесе бот қорғанысының ережесі краулерге 403, 429 немесе тексеру бетімен жауап бере алады. robots.txt мұны ешқашан көрсетпейді, сондықтан бетті краулер ретінде сұрап тексеру керек.
Краулерді қайтару әрдайым қате ме?
Жоқ. Көптеген иелер оқыту краулерлері мен скрапер боттарын кіргізгісі келмейді. Қате іздеу краулерлерін байқаусызда бөгеуде, өйткені бетіңізге сілтеме беретіні дәл солар.
Дереккөздер
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI краулерлеріне шолу
- Perplexity: Perplexity краулерлері
- Cloudflare: AI краулерлерін басқару (AI Crawl Control)