Բիզնես կայքերի տասից չորսը մերժում են AI կրաուլերներին

Հրապարակված է

Կարճ պատասխան

ԱՄՆ-ի, Մեծ Բրիտանիայի և Ֆրանսիայի 165 բիզնես կայքերի մեր աուդիտներում 38%-ը սերվերի մակարդակով մերժել է առնվազն մեկ AI կրաուլերի, գրեթե միշտ՝ ուսուցման կամ սկրեյպերի բոտի։ Տասից մեկ կայք մերժել է նաև AI որոնման կրաուլերի, օրինակ՝ PerplexityBot-ի կամ OAI-SearchBot-ի, այսինքն՝ այն կրաուլերների, որոնք կարող են բերել մեջբերման։ Ստուգեք ձեր կայքը՝ յուրաքանչյուր կրաուլերի համար մեկ հարցումով։

Դուք ChatGPT-ին հարցնում եք ձեր սեփական ապրանքի մասին, և նա նշում է մրցակցի, մի ակնարկների կայքի և մի ֆորումի թեմա։ Երբեմն դա բովանդակության հարց է։ Հաճախ դա firewall է, որը AI կրաուլերներին պատասխանում է «ոչ»-ով, և ձեր թիմից ոչ ոք դա երբեք չի տեսել, քանի որ կայքը զննիչում աշխատում է։

Այս էջում
  1. Ի՞նչ թեստավորեցինք
  2. Ի՞նչ գտանք
  3. Ինչո՞ւ է դա լինում, և ե՞րբ է դա ընտրություն
  4. Ավելի լավ վիճակում են արդյո՞ք ամենախոշոր կայքերը
  5. Ինչպե՞ս տասը րոպեում ստուգել իմ կայքը
  6. Որքանո՞վ են հուսալի այս թվերը

Ի՞նչ թեստավորեցինք

Մենք նույն հասցեից էջը մի քանի անգամ հարցնում ենք. մեկ անգամ՝ որպես սովորական զննիչ, և մեկական անգամ՝ որպես 14 AI և որոնման կրաուլեր, այդ թվում՝ OpenAI-ի GPTBot, OAI-SearchBot և ChatGPT-User, Anthropic-ի ClaudeBot և Claude-SearchBot, Perplexity-ի PerplexityBot։ Եթե զննիչը էջը ստանում է, իսկ կրաուլերը՝ 401, 403, 406, 429, 451, 503 կամ challenge էջ, ուրեմն կայքը այդ կրաուլերին մերժում է։

Ընտրանքը ԱՄՆ-ի, Մեծ Բրիտանիայի և Ֆրանսիայի 218 բիզնես կայք է, աուդիտը կատարվել է 2026 թվականի նոյեմբերի 18-ից 21-ը։ Լրիվ թեստը կարողացանք անցկացնել 165-ի վրա։ Մնացած 53-ը մերժեցին նույնիսկ մեր սովորական զննիչի հարցումը կամ չպատասխանեցին, ուստի դրանց դուրս թողեցինք՝ ենթադրություններ անելու փոխարեն։

Ի՞նչ գտանք

Ինչո՞ւ է դա լինում, և ե՞րբ է դա ընտրություն

Սրա մեծ մասը հավանաբար դիտավորյալ է։ Շատ սեփականատերեր չեն ուզում, որ իրենց բովանդակությունը օգտագործվի մոդելներ ուսուցանելու համար, իսկ սկրեյպերներին արգելափակող պաշտպանության կարգավորումները հեշտ է միացնել։ Դա արդար ընտրություն է։

Խնդիրն այն է, որ AI ընկերությունները ուսուցման և որոնման համար առանձին կրաուլերներ են աշխատեցնում։ Ուսուցման կրաուլերին արգելափակելը չի պահանջում արգելափակել որոնման կրաուլերին, իսկ որոնման կրաուլերն է, որ կարող է պատճառ դառնալ, որ ձեր էջը մեջբերվի պատասխանում։

Ավելի լավ վիճակում են արդյո՞ք ամենախոշոր կայքերը

Իրականում՝ ոչ։ Ամենահայտնի 1000 դոմենների մեր robots.txt հաշվետվության մեջ robots.txt ունեցող կայքերի 29,9%-ը արգելափակում է առնվազն մեկ AI ուսուցման կրաուլեր, և դրանց 63,2%-ը արգելափակում է նաև առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր։ Միայն 11,0%-ն է արգելափակում ուսուցումը՝ թույլ տալով բոլոր AI որոնման կրաուլերներին, իսկ դա այն կարգավորումն է, որը նրանց մեծ մասը հավանաբար ուզում էր։

Ինչպե՞ս տասը րոպեում ստուգել իմ կայքը

  1. Բացեք yoursite.com/robots.txt-ը։ Ձեզ հետաքրքրող յուրաքանչյուր AI կրաուլերի համար տեսեք՝ կա՞ այն անվանող խումբ, և ինչ է ասում այդ խումբը։ Կրաուլերին անվանող խումբը ամբողջությամբ փոխարինում է ընդհանուր * խմբին։
  2. Թեստավորեք այն, ինչ անում է սերվերը, այլ ոչ թե այն, ինչ գրված է ֆայլում։ Ձեր հիմնական էջը հարցրեք որպես զննիչ և որպես կրաուլեր։ 403-ը, 429-ը, Just a moment... վերնագրով էջը կամ զննիչի պատասխանից շատ փոքր պատասխանը firewall-ի արգելափակման հատկանիշն են։
  3. Հարցրեք օգնականին։ Որոնումը միացրած՝ ChatGPT-ին կամ Perplexity-ին տվեք ձեր գնորդների տված հարցերը և տեսեք, թե որ կայքերն է նա մեջբերում։ Եթե հասանելիությունը նորմալ է, իսկ ձեզ դեռ չկան, խնդիրը բովանդակության մեջ է, այլ ոչ թե հասանելիության։

Որքանո՞վ են հուսալի այս թվերը

Համարեք դրանք օրինաչափություն, այլ ոչ թե մարդահամար։ Ընտրանքը պատահական չէ. սրանք ընկերություններ են, որոնք գտել ենք գովազդային գրադարաններից, աշխատանքի հայտարարությունների կայքերից և քարտեզների ցուցակներից։ Մենք թեստավորում ենք user agent-ով մեկ հասցեից, մինչդեռ իրական կրաուլերները գալիս են իրենց վաճառողների հրապարակած հասցեներից, ուստի որոշ firewall-եր իրականներին այլ կերպ կվերաբերվեին։ Եվ արգելափակումը միշտ չէ, որ սխալ է։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Կայքերի ո՞ր մասն է արգելափակում AI կրաուլերներին

Թեստավորվող 165 բիզնես կայքերի մեր աուդիտում 38%-ը սերվերի մակարդակով մերժել է առնվազն մեկ AI կրաուլերի, հիմնականում՝ ուսուցման և սկրեյպերի բոտերի։ Շուրջ 10%-ը մերժել է նաև AI որոնման կրաուլերի։

GPTBot-ի արգելափակումը ChatGPT-ի որոնումից դո՞ւրս է պահում իմ կայքը

Ոչ։ OpenAI-ն ասում է, որ իր կրաուլերների յուրաքանչյուր robots.txt կարգավորում անկախ է. GPTBot-ը վերաբերում է ուսուցմանը, OAI-SearchBot-ը՝ ChatGPT-ի որոնմանը։ Մեկի արգելափակումը մյուսին չի արգելափակում։

Ինչպե՞ս կարող է կայքը կրաուլերին արգելափակել առանց robots.txt-ի

Firewall-ը, CDN-ը կամ բոտերից պաշտպանության կանոնը կարող է կրաուլերին պատասխանել 403-ով, 429-ով կամ challenge էջով։ robots.txt-ը դա երբեք չի ցույց տալիս, ուստի այն պետք է թեստավորել՝ էջը հարցնելով որպես կրաուլեր։

Կրաուլերին մերժելը միշտ սխա՞լ է

Ոչ։ Շատ սեփականատերեր ուզում են ուսուցման կրաուլերներին և սկրեյպերներին դուրս պահել։ Սխալն այն է, երբ պատահաբար արգելափակվում են որոնման կրաուլերները, քանի որ հենց նրանք կարող են մեջբերել ձեր էջը։

Աղբյուրներ

Այլ հոդվածներ