Բիզնես կայքերի տասից չորսը մերժում են AI կրաուլերներին
ԱՄՆ-ի, Մեծ Բրիտանիայի և Ֆրանսիայի 165 բիզնես կայքերի մեր աուդիտներում 38%-ը սերվերի մակարդակով մերժել է առնվազն մեկ AI կրաուլերի, գրեթե միշտ՝ ուսուցման կամ սկրեյպերի բոտի։ Տասից մեկ կայք մերժել է նաև AI որոնման կրաուլերի, օրինակ՝ PerplexityBot-ի կամ OAI-SearchBot-ի, այսինքն՝ այն կրաուլերների, որոնք կարող են բերել մեջբերման։ Ստուգեք ձեր կայքը՝ յուրաքանչյուր կրաուլերի համար մեկ հարցումով։
Դուք ChatGPT-ին հարցնում եք ձեր սեփական ապրանքի մասին, և նա նշում է մրցակցի, մի ակնարկների կայքի և մի ֆորումի թեմա։ Երբեմն դա բովանդակության հարց է։ Հաճախ դա firewall է, որը AI կրաուլերներին պատասխանում է «ոչ»-ով, և ձեր թիմից ոչ ոք դա երբեք չի տեսել, քանի որ կայքը զննիչում աշխատում է։
Այս էջում
Ի՞նչ թեստավորեցինք
Մենք նույն հասցեից էջը մի քանի անգամ հարցնում ենք. մեկ անգամ՝ որպես սովորական զննիչ, և մեկական անգամ՝ որպես 14 AI և որոնման կրաուլեր, այդ թվում՝ OpenAI-ի GPTBot, OAI-SearchBot և ChatGPT-User, Anthropic-ի ClaudeBot և Claude-SearchBot, Perplexity-ի PerplexityBot։ Եթե զննիչը էջը ստանում է, իսկ կրաուլերը՝ 401, 403, 406, 429, 451, 503 կամ challenge էջ, ուրեմն կայքը այդ կրաուլերին մերժում է։
Ընտրանքը ԱՄՆ-ի, Մեծ Բրիտանիայի և Ֆրանսիայի 218 բիզնես կայք է, աուդիտը կատարվել է 2026 թվականի նոյեմբերի 18-ից 21-ը։ Լրիվ թեստը կարողացանք անցկացնել 165-ի վրա։ Մնացած 53-ը մերժեցին նույնիսկ մեր սովորական զննիչի հարցումը կամ չպատասխանեցին, ուստի դրանց դուրս թողեցինք՝ ենթադրություններ անելու փոխարեն։
Ի՞նչ գտանք
- Թեստավորվող կայքերի 38%-ը (165-ից 63-ը) մերժել է առնվազն մեկ AI կրաուլերի։
- Այդ կայքերից յուրաքանչյուրը մերժել է առնվազն մեկ ուսուցման կամ սկրեյպերի կրաուլերի։
Bytespider-ին մերժել է բոլոր կայքերի 35%-ը,ClaudeBot-ին՝ 13%-ը,GPTBot-ին՝ 11%-ը։ - Կայքերի 10%-ը (16) մերժել է նաև առնվազն մեկ AI որոնման կրաուլերի, իսկ 5%-ը (8)՝ այնպիսի կրաուլերի, որը էջը բացում է իրական ժամանակում, երբ մարդը օգնականին հարցնում է դրա մասին։
- Ամենակարևոր որոնման կրաուլերներն էին
PerplexityBot-ը (11 կայք) ևOAI-SearchBot-ը (5 կայք)։ - Մեր թեստավորած կրաուլերներից որևէ մեկին մերժած 66 կայքից 32-ի հետևում Cloudflare-ն էր։ ԵՒս 30-ի դեպքում չկարողացանք որոշել, թե որ firewall-ն է պատասխանել։
Ինչո՞ւ է դա լինում, և ե՞րբ է դա ընտրություն
Սրա մեծ մասը հավանաբար դիտավորյալ է։ Շատ սեփականատերեր չեն ուզում, որ իրենց բովանդակությունը օգտագործվի մոդելներ ուսուցանելու համար, իսկ սկրեյպերներին արգելափակող պաշտպանության կարգավորումները հեշտ է միացնել։ Դա արդար ընտրություն է։
Խնդիրն այն է, որ AI ընկերությունները ուսուցման և որոնման համար առանձին կրաուլերներ են աշխատեցնում։ Ուսուցման կրաուլերին արգելափակելը չի պահանջում արգելափակել որոնման կրաուլերին, իսկ որոնման կրաուլերն է, որ կարող է պատճառ դառնալ, որ ձեր էջը մեջբերվի պատասխանում։
Ավելի լավ վիճակում են արդյո՞ք ամենախոշոր կայքերը
Իրականում՝ ոչ։ Ամենահայտնի 1000 դոմենների մեր robots.txt հաշվետվության մեջ robots.txt ունեցող կայքերի 29,9%-ը արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, և դրանց 63,2%-ը արգելափակում է նաև առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։ Միայն 11,0%-ն է արգելափակում ուսուցումը՝ թույլ տալով բոլոր AI որոնման կրաուլերներին, իսկ դա այն կարգավորումն է, որը նրանց մեծ մասը հավանաբար ուզում էր։
Ինչպե՞ս տասը րոպեում ստուգել իմ կայքը
- Բացեք
yoursite.com/robots.txt-ը։ Ձեզ հետաքրքրող յուրաքանչյուր AI կրաուլերի համար տեսեք՝ կա՞ այն անվանող խումբ, և ինչ է ասում այդ խումբը։ Կրաուլերին անվանող խումբը ամբողջությամբ փոխարինում է ընդհանուր*խմբին։ - Թեստավորեք այն, ինչ անում է սերվերը, այլ ոչ թե այն, ինչ գրված է ֆայլում։ Ձեր հիմնական էջը հարցրեք որպես զննիչ և որպես կրաուլեր։ 403-ը, 429-ը,
Just a moment...վերնագրով էջը կամ զննիչի պատասխանից շատ փոքր պատասխանը firewall-ի արգելափակման հատկանիշն են։ - Հարցրեք օգնականին։ Որոնումը միացրած՝ ChatGPT-ին կամ Perplexity-ին տվեք ձեր գնորդների տված հարցերը և տեսեք, թե որ կայքերն է նա մեջբերում։ Եթե հասանելիությունը նորմալ է, իսկ ձեզ դեռ չկան, խնդիրը բովանդակության մեջ է, այլ ոչ թե հասանելիության։
Որքանո՞վ են հուսալի այս թվերը
Համարեք դրանք օրինաչափություն, այլ ոչ թե մարդահամար։ Ընտրանքը պատահական չէ. սրանք ընկերություններ են, որոնք գտել ենք գովազդային գրադարաններից, աշխատանքի հայտարարությունների կայքերից և քարտեզների ցուցակներից։ Մենք թեստավորում ենք user agent-ով մեկ հասցեից, մինչդեռ իրական կրաուլերները գալիս են իրենց վաճառողների հրապարակած հասցեներից, ուստի որոշ firewall-եր իրականներին այլ կերպ կվերաբերվեին։ Եվ արգելափակումը միշտ չէ, որ սխալ է։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Կայքերի ո՞ր մասն է արգելափակում AI կրաուլերներին
Թեստավորվող 165 բիզնես կայքերի մեր աուդիտում 38%-ը սերվերի մակարդակով մերժել է առնվազն մեկ AI կրաուլերի, հիմնականում՝ ուսուցման և սկրեյպերի բոտերի։ Շուրջ 10%-ը մերժել է նաև AI որոնման կրաուլերի։
GPTBot-ի արգելափակումը ChatGPT-ի որոնումից դո՞ւրս է պահում իմ կայքը
Ոչ։ OpenAI-ն ասում է, որ իր կրաուլերների յուրաքանչյուր robots.txt կարգավորում անկախ է. GPTBot-ը վերաբերում է ուսուցմանը, OAI-SearchBot-ը՝ ChatGPT-ի որոնմանը։ Մեկի արգելափակումը մյուսին չի արգելափակում։
Ինչպե՞ս կարող է կայքը կրաուլերին արգելափակել առանց robots.txt-ի
Firewall-ը, CDN-ը կամ բոտերից պաշտպանության կանոնը կարող է կրաուլերին պատասխանել 403-ով, 429-ով կամ challenge էջով։ robots.txt-ը դա երբեք չի ցույց տալիս, ուստի այն պետք է թեստավորել՝ էջը հարցնելով որպես կրաուլեր։
Կրաուլերին մերժելը միշտ սխա՞լ է
Ոչ։ Շատ սեփականատերեր ուզում են ուսուցման կրաուլերներին և սկրեյպերներին դուրս պահել։ Սխալն այն է, երբ պատահաբար արգելափակվում են որոնման կրաուլերները, քանի որ հենց նրանք կարող են մեջբերել ձեր էջը։
Աղբյուրներ
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)