Он бизнес-сайттың төртеуі AI краулерлерін кіргізбейді

Жарияланды

Қысқа жауап

АҚШ, Ұлыбритания және Францияның 165 бизнес-сайтына жүргізген аудитімізде 38%-ы кемінде бір AI краулерін сервер деңгейінде қайтарды, әдетте оқыту немесе скрапинг ботын. Он сайттың шамамен біреуі PerplexityBot немесе OAI-SearchBot сияқты AI іздеу краулерін де қабылдамады, ал дәл осы краулерлер дереккөз ретінде сілтеме берілуіне әкелуі мүмкін. Сайтыңызды әр краулер үшін бір сұраныспен тексеріңіз.

Сіз ChatGPT-тен өз өніміңіз туралы сұрайсыз, ал ол бәсекелесті, шолу сайтын және форум тақырыбын атайды. Кейде бұл контентке байланысты. Көбіне брандмауэр AI краулерлеріне бас тартады, бірақ сайт браузерде жұмыс істейтіндіктен, мұны команданың ешкімі көрмейді.

Осы бетте
  1. Біз не тексердік?
  2. Біз не таптық?
  3. Бұл неге болады және қашан бұл саналы таңдау?
  4. Ірі сайттар жақсырақ па?
  5. Өз сайтымды он минутта қалай тексеремін?
  6. Бұл сандарға қаншалықты сенуге болады?

Біз не тексердік?

Біз бір мекенжайдан бір бетті бірнеше рет сұраймыз: бір рет қарапайым браузер ретінде, содан кейін 14 AI және іздеу краулерінің әрқайсысы ретінде, олардың ішінде OpenAI-дың GPTBot, OAI-SearchBot және ChatGPT-User, Anthropic-тің ClaudeBot және Claude-SearchBot, Perplexity-дің PerplexityBot краулерлері бар. Браузер бетті алып, ал краулер 401, 403, 406, 429, 451, 503 коды немесе тексеру беті алса, сайт сол краулерді қайтарып жатыр деген сөз.

Таңдамада АҚШ, Ұлыбритания және Францияның 218 бизнес-сайты бар, аудит 2026 жылғы 18–21 қарашада жүргізілді. Толық тексеруді 165 сайтқа жасай алдық. Қалған 53 сайт қарапайым браузер сұранысымызға да бас тартты немесе жауап бермеді, сондықтан оларды болжап жатпай, нәтижеден шығарып тастадық.

Біз не таптық?

Бұл неге болады және қашан бұл саналы таңдау?

Мұның көбі, сірә, әдейі жасалған. Көптеген иелер контентінің модельдерді оқытуға пайдаланылғанын қаламайды, ал скрапер ботты бөгейтін қорғаныс параметрлерін қосу оңай. Бұл орынды таңдау.

Бірақ мәселе мынада: AI компаниялары оқыту және іздеу үшін бөлек краулерлер қолданады. Оқыту краулерін бөгеу үшін іздеу краулерін бөгеудің қажеті жоқ, ал жауапта бетіңізге сілтеме берілуіне әкелетіні дәл іздеу краулері.

Ірі сайттар жақсырақ па?

Жоқ, олай емес. Ең танымал 1 000 домен бойынша robots.txt есебімізде robots.txt бар сайттардың 29,9%-ы кемінде бір AI оқыту краулерін бөгейді, ал солардың 63,2%-ы кемінде бір AI іздеу немесе пайдаланушы краулерін де бөгейді. Оқытуды бөгеп, барлық AI іздеу краулеріне рұқсат беретін, яғни олардың көбі қалаған баптауды тек 11,0%-ы қолданады.

Өз сайтымды он минутта қалай тексеремін?

  1. yoursite.com/robots.txt файлын ашыңыз. Өзіңізге қажет әр AI краулері үшін оны атайтын топ бар-жоғын және топтың не айтатынын қараңыз. Краулерді атайтын топ жалпы * тобын толығымен алмастырады.
  2. Файл не айтатынын емес, сервер не істейтінін тексеріңіз. Негізгі бетті браузер ретінде де, краулер ретінде де сұраңыз. 403, 429, Just a moment... деген тақырыпты бет немесе браузерге берілгеннен әлдеқайда аз жауап көлемі брандмауэрдің бөгегенін білдіреді.
  3. Көмекшіден сұраңыз. Іздеуді қосып, ChatGPT-ден немесе Perplexity-ден сатып алушыларыңыз қоятын сұрақтарды қойып, қай сайттарға сілтеме жасайтынын көріңіз. Қолжетімділік дұрыс болып, бірақ сіз әлі де көрінбесеңіз, мәселе қолжетімділікте емес, контентте.

Бұл сандарға қаншалықты сенуге болады?

Оларды санақ емес, заңдылық деп қабылдаңыз. Таңдама кездейсоқ емес: бұл компаниялар жарнама кітапханалары, жұмыс іздеу сайттары және карта тізімдері арқылы табылды. Біз бір мекенжайдан user agent бойынша тексереміз, ал нақты краулерлер өз өндірушілері жариялаған мекенжайлардан келеді, сондықтан кейбір брандмауэрлер нақтыларына басқаша қарар еді. Және бөгеу әрдайым қате емес.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Сайттардың қандай бөлігі AI краулерлерін бөгейді?

Тексеруге болатын 165 бизнес-сайтқа жүргізген аудитімізде 38%-ы кемінде бір AI краулерін сервер деңгейінде қайтарды, көбіне оқыту және скрапер боттарын. Шамамен 10%-ы AI іздеу краулерінен де бас тартты.

GPTBot бөгелсе, сайтым ChatGPT іздеуінен шығып қала ма?

Жоқ. OpenAI өз краулерлерінің әрбір robots.txt параметрі тәуелсіз екенін айтады: GPTBot оқытуға, OAI-SearchBot ChatGPT іздеуіне қатысты. Біреуін бөгеу екіншісін бөгемейді.

Сайт краулерді robots.txt-сіз қалай бөгей алады?

Брандмауэр, CDN немесе бот қорғанысының ережесі краулерге 403, 429 немесе тексеру бетімен жауап бере алады. robots.txt мұны ешқашан көрсетпейді, сондықтан бетті краулер ретінде сұрап тексеру керек.

Краулерді қайтару әрдайым қате ме?

Жоқ. Көптеген иелер оқыту краулерлері мен скрапер боттарын кіргізгісі келмейді. Қате іздеу краулерлерін байқаусызда бөгеуде, өйткені бетіңізге сілтеме беретіні дәл солар.

Дереккөздер

Басқа мақалалар