Ինչպես դանդաղեցնել AI ռոբոտներին՝ առանց արգելափակելու
Սահմանափակեք արագությունը՝ արգելափակելու փոխարեն։ Ռոբոտների ավելորդ հարցումներին պատասխանեք 429-ով կամ 503-ով և Retry-After վերնագրով, յուրաքանչյուր ռոբոտի տվեք իր սեփական բյուջեն, /robots.txt-ը պահեք բոլոր սահմանափակումներից դուրս և ռոբոտներին սպասարկեք քեշից։ robots.txt-ում Crawl-delay-ն օգնում է միայն այնտեղ, որտեղ օպերատորը փաստաթղթավորում է այն. Anthropic-ը և Bing-ը փաստաթղթավորում են, Google-ն ասում է, որ չի աջակցում, իսկ OpenAI-ն և Perplexity-ն այն չեն նշում։ AI որոնողական ռոբոտներին թույլատրված պահեք, այլապես դուրս կմնաք նաև նրանց սնուցած պատասխաններից։
Երբ ռոբոտը ժամում հազարավոր հարցումներ է ուղարկում, արագ լուծումը Disallow: /-ն է կամ ֆայրվոլի արգելափակումը։ Ուսուցման ռոբոտի համար դա կարող է արդարացի ընտրություն լինել։ OAI-SearchBot-ի, Claude-SearchBot-ի կամ PerplexityBot-ի համար այն ձեր էջերը հեռացնում է այն AI պատասխաններից, որտեղ ուզում եք հայտնվել։ Շատ դեպքերում բեռնվածությունը կարելի է կրճատել առանց դրանից հրաժարվելու՝ ազդանշաններով, որոնք ռոբոտներն արդեն հասկանում են. կարգավիճակի կոդեր, քեշավորում և, որոշ օպերատորների համար, Crawl-delay։
Այս էջում
- Ո՞ր ռոբոտն է իրականում ստեղծում բեռնվածությունը
- Crawl-delay-ն աշխատո՞ւմ է AI ռոբոտների համար
- Ինչպե՞ս են 429 և 503 պատասխանները դանդաղեցնում ռոբոտներին
- Ինչպե՞ս սահմանել արագության սահմանափակում AI ռոբոտների համար
- Կարո՞ղ է քեշավորումը նվազեցնել ռոբոտների բեռնվածությունը
- Ինչի՞ց խուսափել ռոբոտներին դանդաղեցնելիս
- Ինչպե՞ս ստուգել, որ ռոբոտները դեռ անցնում են
Ո՞ր ռոբոտն է իրականում ստեղծում բեռնվածությունը
Նայեք, նախքան որևէ բան փոխելը։ Հաշվեք հարցումներն ըստ user agent-ի և ըստ ժամի ձեր մուտքի լոգերում և ստուգեք աղբյուր IP-ները յուրաքանչյուր մատակարարի հրապարակած տիրույթներով. AI ռոբոտների համար սերվերի լոգերը ստուգելու մեր ուղեցույցում կան հրամանները։ Երկու արդյունք հաճախ է հանդիպում.
- Ծանր երթևեկը միայն պնդում է, թե AI ռոբոտ է։ Եթե IP-ները մատակարարի ցանկում չեն, իրական ռոբոտի կանոնները չեն օգնի։ Փոխարենը սահմանափակեք կամ արգելափակեք այդ երթևեկն ըստ իր ծագման։
- Իրական ռոբոտը խրվել է շրջանցման թակարդում (crawl trap), օրինակ՝ անվերջ օրացույցային էջեր, ֆիլտրերի համակցություններ կամ URL-ներում սեսիայի ID-ներ։ Թակարդը այդ ճանապարհների համար
Disallowկանոններով փակելը ավելին է խնայում, քան ցանկացած արագության սահմանափակում։
Ռոբոտները դասավորեք նաև ըստ աշխատանքի։ Ուսուցման ռոբոտները, ինչպիսիք են GPTBot-ը և ClaudeBot-ը, ձեզ AI որոնման մեջ մեջբերելի չեն դարձնում, ուստի եթե խնդիրը նրանցից մեկն է, դրան արգելելը խելամիտ տարբերակ է։ Այս ուղեցույցի մնացած մասը այն ռոբոտների համար է, որոնց ուզում եք պահել։
Crawl-delay-ն աշխատո՞ւմ է AI ռոբոտների համար
Crawl-delay-ն RFC 9309-ի մաս չէ, ուստի յուրաքանչյուր օպերատոր ինքն է որոշում՝ կարդալ այն, թե ոչ։ Ահա թե ինչ են ասում փաստաթղթերը 2026 թ. նոյեմբերի դրությամբ.
- Anthropic. աջակցվում է։ Նրա օգնության էջն ասում է, որ աջակցում է ոչ ստանդարտ
Crawl-delayընդլայնմանը՝ շրջանցման ակտիվությունը սահմանափակելու համար, և որպես օրինակ բերում էCrawl-delay: 1ClaudeBotխմբում։ - Microsoft Bing. աջակցվում է։ Bing-ի վեբմաստերների բլոգը արժեքը նկարագրում է որպես 1-ից 30 վայրկյան ժամանակային պատուհան, որի ընթացքում
bingbot-ը շրջանցում է առավելագույնը մեկ էջ, և ասում է, որ robots.txt-ի crawl delay-ը գերակայում է Bing Webmaster Tools-ի շրջանցման կարգավորումների նկատմամբ։ - Google. չի աջակցվում։ Google-ի robots.txt-ի փաստաթղթերը
crawl-delay-ը նշում են որպես դաշտ, որը չի աջակցում։ - OpenAI և Perplexity. նրանց ռոբոտների էջերը այն չեն նշում, ուստի դրա ազդեցությունը
GPTBot-ի,OAI-SearchBot-ի կամPerplexityBot-ի վրա փաստաթղթավորված չէ։
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Հետևեք խմբերի տրամաբանությանը։ Ռոբոտը, որը գտնում է իր անունով խումբ, ամբողջությամբ անտեսում է User-agent: * խումբը, ուստի ClaudeBot խումբը, որը պարունակում է միայն Crawl-delay, կչեղարկի բոլոր Disallow-ները, որոնք սահմանել եք մյուսների համար։ Կրկնեք դրանք, ինչպես վերևում։ Bing-ը Crawl-delay-ը նկարագրում է որպես բացառություն, որը կարդում է ցանկացած խմբից, բայց չպետք է դա ենթադրեք այլ ռոբոտների համար։
Ինչպե՞ս են 429 և 503 պատասխանները դանդաղեցնում ռոբոտներին
Բեռնվածության գագաթների համար կարգավիճակի կոդն այն ազդանշանն է, որը ռոբոտները նախատեսված են հարգելու։ 429 Too Many Requests-ը, որը սահմանված է RFC 6585-ում, նշանակում է, որ հաճախորդը տվյալ ժամանակում չափազանց շատ հարցումներ է ուղարկել, և կարող է կրել Retry-After վերնագիր, որն ասում է, թե որքան սպասել։ 503 Service Unavailable-ը ասում է, որ սերվերն այս պահին չի կարողանում հաղթահարել։
Google-ը սա փաստաթղթավորում է որպես Googlebot-ի շրջանցման արագությունն արագ նվազեցնելու միջոց. շրջանցման որոշ հարցումներին 200-ի փոխարեն վերադարձրեք 500, 503 կամ 429։ Այն ասում է, որ սա նվազեցնում է շրջանցման արագությունը ամբողջ hostname-ի համար, և որ Retry-After-ը կարող է պարունակել վայրկյանների թիվ կամ ամսաթիվ։
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Պահեք այն կարճ։ Google-ը խորհուրդ չի տալիս դա անել մեկ-երկու օրից ավելի, քանի որ URL-ը, որը մի քանի օր վերադարձնում է այս կոդերը, կարող է հեռացվել նրա ինդեքսից։ Երկարաժամկետ նվազեցման համար Google-ը փոխարենն առաջարկում է հատուկ հարցում Search Console-ի միջոցով։
OpenAI-ը, Anthropic-ը և Perplexity-ն չեն փաստաթղթավորում, թե ինչպես են իրենց ռոբոտներն արձագանքում 429-ին, 503-ին կամ Retry-After-ին։ Կոդերը ավելի քիչ խնդրելու ստանդարտ եղանակն են, բայց թե որքան արագ է յուրաքանչյուր AI ռոբոտ նահանջում, որևէ տեղ նշված չէ։
Ինչպե՞ս սահմանել արագության սահմանափակում AI ռոբոտների համար
Յուրաքանչյուր ռոբոտի տվեք իր սեփական բյուջեն՝ ամբողջ երթևեկի համար մեկ սահմանափակման փոխարեն, և դրանից ավել հարցումներին պատասխանեք 429-ով։ nginx-ում դա անում է limit_req մոդուլը։ Դատարկ բանալիով հարցումները չեն հաշվվում, ուստի map-ը, որը բանալի է վերադարձնում միայն ռոբոտների user agent-ների համար, մարդ այցելուներին հանգիստ է թողնում։ Այստեղ յուրաքանչյուր ռոբոտ ստանում է րոպեում 60 հարցում՝ 20-ի պոռթկումով.
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Բանալին այստեղ user agent-ն է, ուստի ցանկացած մեկը, ով պատճենում է ռոբոտի անունը, կիսում է այդ ռոբոտի բյուջեն։ Արագության սահմանափակման համար դա ընդունելի է։ Թույլատրող կանոնի համար համեմատեք նաև մատակարարի հրապարակած IP տիրույթները։
Cloudflare-ում նույն աշխատանքը edge-ում կատարում են rate limiting rules-ը։ Free պլանում ստանում եք մեկ կանոն, որը հաշվում է ըստ IP-ի 10 վայրկյանի ընթացքում, և կանոնի արտահայտությունը կարող է օգտագործել ճանապարհը և Verified Bot դաշտը։ Ըստ IP-ի հաշվելը կոպիտ է այն ռոբոտների համար, որոնք հարցումները բաշխում են բազմաթիվ հասցեների վրա, և ավելի բարձր պլաններն ավելացնում են հաշվման այլ տարբերակներ։ Լռելյայն պատասխանը 429 է, և կարող եք սահմանել այլ 4xx կոդ և սեփական մարմին։ AI Crawl Control-ն առաջարկում է Allow, Block և, փակ բետայում, Charge յուրաքանչյուր ռոբոտի համար, բայց արագության կարգավորում չունի։
Ինչ էլ օգտագործեք, /robots.txt-ը պահեք սահմանափակումից դուրս։ RFC 9309-ն ասում է, որ robots.txt-ի համար սերվերի սխալը նշանակում է, որ ռոբոտը պետք է ենթադրի, թե ամբողջ կայքն արգելված է, իսկ Google-ը 429-ը բացառում է այն 4xx կոդերից, որոնք համարում է բացակայող ֆայլ։
Կարո՞ղ է քեշավորումը նվազեցնել ռոբոտների բեռնվածությունը
Հաճախ՝ ավելի շատ, քան արագության սահմանափակումը։ Ռոբոտները հիմնականում հարցնում են հանրային էջեր, որոնք նույնն են յուրաքանչյուր այցելուի համար, ուստի դրանք CDN-ից կամ էջերի քեշից մատուցելը թանկ ռենդերները դարձնում է էժան hit-եր։ Ստուգեք, որ ձեր քեշը ռոբոտների user agent-ների համար առանձին, չքեշավորվող տարբերակ չի պահում։
Պայմանական հարցումները նույնպես օգնում են։ Google-ն ասում է, որ իր ռոբոտներն աջակցում են HTTP քեշավորմանը ETag-ով և If-None-Match-ով, ինչպես նաև Last-Modified-ով և If-Modified-Since-ով, և երբ երկուսն էլ առկա են, օգտագործում են ETag-ը։ OpenAI-ի, Anthropic-ի և Perplexity-ի ռոբոտների էջերը չեն ասում, թե արդյոք նրանց ռոբոտներն ուղարկում են պայմանական հարցումներ, ուստի այդ խնայողության վրա հույս դրեք միայն Google-ի դեպքում։
Ինչի՞ց խուսափել ռոբոտներին դանդաղեցնելիս
- Մատակարարի IP տիրույթների արգելափակում ֆայրվոլում։ Anthropic-ը զգուշացնում է, որ դա կարող է ճիշտ չաշխատել կամ չպահպանել հրաժարումը, քանի որ խանգարում է նրա բոտերին կարդալ ձեր robots.txt-ը։
- Օրերով
5xxկամ429մատուցելը։ Google-ն ասում է, որ դրանք անընդհատ վերադարձնող URL-ները կարող են հեռացվել նրա ինդեքսից։ - Բոտերից պաշտպանության օգտագործումը որպես արագության կարգավորիչ։ Cloudflare-ի Bot Fight Mode-ը բոտերին ներկայացնում է հաշվողական առումով թանկ ստուգումներ և չի կարող շրջանցվել WAF custom rules-ով, ուստի չեք կարող բացառություն անել այն ռոբոտների համար, որոնց ուզում եք պահել։
- Որոնողական ռոբոտին արգելելը թողունակություն խնայելու համար։
Disallow-ըOAI-SearchBot-ի,Claude-SearchBot-ի կամPerplexityBot-ի համար ձեզ հանում է այն պատասխաններից, որոնք սնուցում են այդ ռոբոտները։
Ինչպե՞ս ստուգել, որ ռոբոտները դեռ անցնում են
Արագության սահմանափակումները հեշտ է չափազանց խիստ սահմանել։ AISeeWhy-ի անվճար ստուգումը բեռնում է էջը որպես 16 AI և որոնողական ռոբոտներ՝ իրական բրաուզերի կողքին, ձեր robots.txt-ը կիրառում է ըստ ռոբոտի և ճանաչում է ֆայրվոլի ստուգման էջերը, ուստի կանոնը, որը ռոբոտներին այլ կերպ է պատասխանում, քան բրաուզերներին, երևում է։ Ամեն ռոբոտի համար մեկ հարցումը խելամիտ սահմանափակում չի գործարկի, և հենց դա է իմաստը. գործարկեք ստուգումը կանոնները փոխելուց հետո՝ հաստատելու համար, որ սովորական հարցումները դեռ անցնում են։ AI ռոբոտների անվճար IP ստուգումը ձեզ ասում է, թե արդյոք ձեր լոգերի IP-ն իրականում պատկանում է GPTBot-ին կամ այլ ռոբոտի։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Google-ն աջակցո՞ւմ է Crawl-delay-ին
Ոչ։ Google-ի robots.txt-ի փաստաթղթերը crawl-delay-ը թվարկում են այն դաշտերի մեջ, որոնք չի աջակցում։ Googlebot-ին կարճ ժամանակով դանդաղեցնելու համար որոշ հարցումներին վերադարձրեք 503, 500 կամ 429. երկարաժամկետ նվազեցման համար Google-ն առաջարկում է հատուկ հարցում Search Console-ի միջոցով։
ClaudeBot-ը հարգո՞ւմ է Crawl-delay-ը
Anthropic-ն ասում է, որ աջակցում է ոչ ստանդարտ Crawl-delay ընդլայնմանը։ Դրեք այն ClaudeBot խմբում և այնտեղ կրկնեք ձեր User-agent: * խմբի բոլոր Disallow կանոնները։
GPTBot-ը և PerplexityBot-ն աջակցո՞ւմ են Crawl-delay-ին
OpenAI-ի և Perplexity-ի ռոբոտների էջերը Crawl-delay չեն նշում, ուստի դրա ազդեցությունը փաստաթղթավորված չէ։ Օգտագործեք սերվերային սահմանափակում, որը ավելորդ հարցումներին պատասխանում է 429-ով։
429 պատասխանը կվնասի՞ իմ դիրքերին
Կարճ ժամանակահատվածում՝ ոչ։ Google-ը 429-ը և 503-ը փաստաթղթավորում է որպես շրջանցումը ժամանակավորապես նվազեցնելու միջոց, բայց զգուշացնում է, որ դրանք մի քանի օր վերադարձնող URL-ները կարող են հեռացվել նրա ինդեքսից։
Արգելափակե՞լ GPTBot-ին բեռնվածությունը նվազեցնելու համար
Կարող եք։ OpenAI-ն ասում է, որ GPTBot-ը շրջանցում է բովանդակություն, որը կարող է օգտագործվել ուսուցման համար, և որ robots.txt-ի յուրաքանչյուր կարգավորում անկախ է, ուստի դրան արգելելը ձեզ չի հեռացնում ChatGPT-ի որոնումից, որն օգտագործում է OAI-SearchBot-ը։ Նախ ստուգեք ձեր լոգերը՝ համոզվելու համար, որ բեռնվածությունը գալիս է OpenAI-ի հասցեներից։
Աղբյուրներ
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP քեշավորում)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers