Ինչպես դանդաղեցնել AI ռոբոտներին՝ առանց արգելափակելու

Հրապարակված է

Կարճ պատասխան

Սահմանափակեք արագությունը՝ արգելափակելու փոխարեն։ Ռոբոտների ավելորդ հարցումներին պատասխանեք 429-ով կամ 503-ով և Retry-After վերնագրով, յուրաքանչյուր ռոբոտի տվեք իր սեփական բյուջեն, /robots.txt-ը պահեք բոլոր սահմանափակումներից դուրս և ռոբոտներին սպասարկեք քեշից։ robots.txt-ում Crawl-delay-ն օգնում է միայն այնտեղ, որտեղ օպերատորը փաստաթղթավորում է այն. Anthropic-ը և Bing-ը փաստաթղթավորում են, Google-ն ասում է, որ չի աջակցում, իսկ OpenAI-ն և Perplexity-ն այն չեն նշում։ AI որոնողական ռոբոտներին թույլատրված պահեք, այլապես դուրս կմնաք նաև նրանց սնուցած պատասխաններից։

Երբ ռոբոտը ժամում հազարավոր հարցումներ է ուղարկում, արագ լուծումը Disallow: /-ն է կամ ֆայրվոլի արգելափակումը։ Ուսուցման ռոբոտի համար դա կարող է արդարացի ընտրություն լինել։ OAI-SearchBot-ի, Claude-SearchBot-ի կամ PerplexityBot-ի համար այն ձեր էջերը հեռացնում է այն AI պատասխաններից, որտեղ ուզում եք հայտնվել։ Շատ դեպքերում բեռնվածությունը կարելի է կրճատել առանց դրանից հրաժարվելու՝ ազդանշաններով, որոնք ռոբոտներն արդեն հասկանում են. կարգավիճակի կոդեր, քեշավորում և, որոշ օպերատորների համար, Crawl-delay։

Այս էջում
  1. Ո՞ր ռոբոտն է իրականում ստեղծում բեռնվածությունը
  2. Crawl-delay-ն աշխատո՞ւմ է AI ռոբոտների համար
  3. Ինչպե՞ս են 429 և 503 պատասխանները դանդաղեցնում ռոբոտներին
  4. Ինչպե՞ս սահմանել արագության սահմանափակում AI ռոբոտների համար
  5. Կարո՞ղ է քեշավորումը նվազեցնել ռոբոտների բեռնվածությունը
  6. Ինչի՞ց խուսափել ռոբոտներին դանդաղեցնելիս
  7. Ինչպե՞ս ստուգել, որ ռոբոտները դեռ անցնում են

Ո՞ր ռոբոտն է իրականում ստեղծում բեռնվածությունը

Նայեք, նախքան որևէ բան փոխելը։ Հաշվեք հարցումներն ըստ user agent-ի և ըստ ժամի ձեր մուտքի լոգերում և ստուգեք աղբյուր IP-ները յուրաքանչյուր մատակարարի հրապարակած տիրույթներով. AI ռոբոտների համար սերվերի լոգերը ստուգելու մեր ուղեցույցում կան հրամանները։ Երկու արդյունք հաճախ է հանդիպում.

Ռոբոտները դասավորեք նաև ըստ աշխատանքի։ Ուսուցման ռոբոտները, ինչպիսիք են GPTBot-ը և ClaudeBot-ը, ձեզ AI որոնման մեջ մեջբերելի չեն դարձնում, ուստի եթե խնդիրը նրանցից մեկն է, դրան արգելելը խելամիտ տարբերակ է։ Այս ուղեցույցի մնացած մասը այն ռոբոտների համար է, որոնց ուզում եք պահել։

Crawl-delay-ն աշխատո՞ւմ է AI ռոբոտների համար

Crawl-delay-ն RFC 9309-ի մաս չէ, ուստի յուրաքանչյուր օպերատոր ինքն է որոշում՝ կարդալ այն, թե ոչ։ Ահա թե ինչ են ասում փաստաթղթերը 2026 թ. նոյեմբերի դրությամբ.

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Հետևեք խմբերի տրամաբանությանը։ Ռոբոտը, որը գտնում է իր անունով խումբ, ամբողջությամբ անտեսում է User-agent: * խումբը, ուստի ClaudeBot խումբը, որը պարունակում է միայն Crawl-delay, կչեղարկի բոլոր Disallow-ները, որոնք սահմանել եք մյուսների համար։ Կրկնեք դրանք, ինչպես վերևում։ Bing-ը Crawl-delay-ը նկարագրում է որպես բացառություն, որը կարդում է ցանկացած խմբից, բայց չպետք է դա ենթադրեք այլ ռոբոտների համար։

Ինչպե՞ս են 429 և 503 պատասխանները դանդաղեցնում ռոբոտներին

Բեռնվածության գագաթների համար կարգավիճակի կոդն այն ազդանշանն է, որը ռոբոտները նախատեսված են հարգելու։ 429 Too Many Requests-ը, որը սահմանված է RFC 6585-ում, նշանակում է, որ հաճախորդը տվյալ ժամանակում չափազանց շատ հարցումներ է ուղարկել, և կարող է կրել Retry-After վերնագիր, որն ասում է, թե որքան սպասել։ 503 Service Unavailable-ը ասում է, որ սերվերն այս պահին չի կարողանում հաղթահարել։

Google-ը սա փաստաթղթավորում է որպես Googlebot-ի շրջանցման արագությունն արագ նվազեցնելու միջոց. շրջանցման որոշ հարցումներին 200-ի փոխարեն վերադարձրեք 500, 503 կամ 429։ Այն ասում է, որ սա նվազեցնում է շրջանցման արագությունը ամբողջ hostname-ի համար, և որ Retry-After-ը կարող է պարունակել վայրկյանների թիվ կամ ամսաթիվ։

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Պահեք այն կարճ։ Google-ը խորհուրդ չի տալիս դա անել մեկ-երկու օրից ավելի, քանի որ URL-ը, որը մի քանի օր վերադարձնում է այս կոդերը, կարող է հեռացվել նրա ինդեքսից։ Երկարաժամկետ նվազեցման համար Google-ը փոխարենն առաջարկում է հատուկ հարցում Search Console-ի միջոցով։

OpenAI-ը, Anthropic-ը և Perplexity-ն չեն փաստաթղթավորում, թե ինչպես են իրենց ռոբոտներն արձագանքում 429-ին, 503-ին կամ Retry-After-ին։ Կոդերը ավելի քիչ խնդրելու ստանդարտ եղանակն են, բայց թե որքան արագ է յուրաքանչյուր AI ռոբոտ նահանջում, որևէ տեղ նշված չէ։

Ինչպե՞ս սահմանել արագության սահմանափակում AI ռոբոտների համար

Յուրաքանչյուր ռոբոտի տվեք իր սեփական բյուջեն՝ ամբողջ երթևեկի համար մեկ սահմանափակման փոխարեն, և դրանից ավել հարցումներին պատասխանեք 429-ով։ nginx-ում դա անում է limit_req մոդուլը։ Դատարկ բանալիով հարցումները չեն հաշվվում, ուստի map-ը, որը բանալի է վերադարձնում միայն ռոբոտների user agent-ների համար, մարդ այցելուներին հանգիստ է թողնում։ Այստեղ յուրաքանչյուր ռոբոտ ստանում է րոպեում 60 հարցում՝ 20-ի պոռթկումով.

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Բանալին այստեղ user agent-ն է, ուստի ցանկացած մեկը, ով պատճենում է ռոբոտի անունը, կիսում է այդ ռոբոտի բյուջեն։ Արագության սահմանափակման համար դա ընդունելի է։ Թույլատրող կանոնի համար համեմատեք նաև մատակարարի հրապարակած IP տիրույթները։

Cloudflare-ում նույն աշխատանքը edge-ում կատարում են rate limiting rules-ը։ Free պլանում ստանում եք մեկ կանոն, որը հաշվում է ըստ IP-ի 10 վայրկյանի ընթացքում, և կանոնի արտահայտությունը կարող է օգտագործել ճանապարհը և Verified Bot դաշտը։ Ըստ IP-ի հաշվելը կոպիտ է այն ռոբոտների համար, որոնք հարցումները բաշխում են բազմաթիվ հասցեների վրա, և ավելի բարձր պլաններն ավելացնում են հաշվման այլ տարբերակներ։ Լռելյայն պատասխանը 429 է, և կարող եք սահմանել այլ 4xx կոդ և սեփական մարմին։ AI Crawl Control-ն առաջարկում է Allow, Block և, փակ բետայում, Charge յուրաքանչյուր ռոբոտի համար, բայց արագության կարգավորում չունի։

Ինչ էլ օգտագործեք, /robots.txt-ը պահեք սահմանափակումից դուրս։ RFC 9309-ն ասում է, որ robots.txt-ի համար սերվերի սխալը նշանակում է, որ ռոբոտը պետք է ենթադրի, թե ամբողջ կայքն արգելված է, իսկ Google-ը 429-ը բացառում է այն 4xx կոդերից, որոնք համարում է բացակայող ֆայլ։

Կարո՞ղ է քեշավորումը նվազեցնել ռոբոտների բեռնվածությունը

Հաճախ՝ ավելի շատ, քան արագության սահմանափակումը։ Ռոբոտները հիմնականում հարցնում են հանրային էջեր, որոնք նույնն են յուրաքանչյուր այցելուի համար, ուստի դրանք CDN-ից կամ էջերի քեշից մատուցելը թանկ ռենդերները դարձնում է էժան hit-եր։ Ստուգեք, որ ձեր քեշը ռոբոտների user agent-ների համար առանձին, չքեշավորվող տարբերակ չի պահում։

Պայմանական հարցումները նույնպես օգնում են։ Google-ն ասում է, որ իր ռոբոտներն աջակցում են HTTP քեշավորմանը ETag-ով և If-None-Match-ով, ինչպես նաև Last-Modified-ով և If-Modified-Since-ով, և երբ երկուսն էլ առկա են, օգտագործում են ETag-ը։ OpenAI-ի, Anthropic-ի և Perplexity-ի ռոբոտների էջերը չեն ասում, թե արդյոք նրանց ռոբոտներն ուղարկում են պայմանական հարցումներ, ուստի այդ խնայողության վրա հույս դրեք միայն Google-ի դեպքում։

Ինչի՞ց խուսափել ռոբոտներին դանդաղեցնելիս

Ինչպե՞ս ստուգել, որ ռոբոտները դեռ անցնում են

Արագության սահմանափակումները հեշտ է չափազանց խիստ սահմանել։ AISeeWhy-ի անվճար ստուգումը բեռնում է էջը որպես 16 AI և որոնողական ռոբոտներ՝ իրական բրաուզերի կողքին, ձեր robots.txt-ը կիրառում է ըստ ռոբոտի և ճանաչում է ֆայրվոլի ստուգման էջերը, ուստի կանոնը, որը ռոբոտներին այլ կերպ է պատասխանում, քան բրաուզերներին, երևում է։ Ամեն ռոբոտի համար մեկ հարցումը խելամիտ սահմանափակում չի գործարկի, և հենց դա է իմաստը. գործարկեք ստուգումը կանոնները փոխելուց հետո՝ հաստատելու համար, որ սովորական հարցումները դեռ անցնում են։ AI ռոբոտների անվճար IP ստուգումը ձեզ ասում է, թե արդյոք ձեր լոգերի IP-ն իրականում պատկանում է GPTBot-ին կամ այլ ռոբոտի։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Google-ն աջակցո՞ւմ է Crawl-delay-ին

Ոչ։ Google-ի robots.txt-ի փաստաթղթերը crawl-delay-ը թվարկում են այն դաշտերի մեջ, որոնք չի աջակցում։ Googlebot-ին կարճ ժամանակով դանդաղեցնելու համար որոշ հարցումներին վերադարձրեք 503, 500 կամ 429. երկարաժամկետ նվազեցման համար Google-ն առաջարկում է հատուկ հարցում Search Console-ի միջոցով։

ClaudeBot-ը հարգո՞ւմ է Crawl-delay-ը

Anthropic-ն ասում է, որ աջակցում է ոչ ստանդարտ Crawl-delay ընդլայնմանը։ Դրեք այն ClaudeBot խմբում և այնտեղ կրկնեք ձեր User-agent: * խմբի բոլոր Disallow կանոնները։

GPTBot-ը և PerplexityBot-ն աջակցո՞ւմ են Crawl-delay-ին

OpenAI-ի և Perplexity-ի ռոբոտների էջերը Crawl-delay չեն նշում, ուստի դրա ազդեցությունը փաստաթղթավորված չէ։ Օգտագործեք սերվերային սահմանափակում, որը ավելորդ հարցումներին պատասխանում է 429-ով։

429 պատասխանը կվնասի՞ իմ դիրքերին

Կարճ ժամանակահատվածում՝ ոչ։ Google-ը 429-ը և 503-ը փաստաթղթավորում է որպես շրջանցումը ժամանակավորապես նվազեցնելու միջոց, բայց զգուշացնում է, որ դրանք մի քանի օր վերադարձնող URL-ները կարող են հեռացվել նրա ինդեքսից։

Արգելափակե՞լ GPTBot-ին բեռնվածությունը նվազեցնելու համար

Կարող եք։ OpenAI-ն ասում է, որ GPTBot-ը շրջանցում է բովանդակություն, որը կարող է օգտագործվել ուսուցման համար, և որ robots.txt-ի յուրաքանչյուր կարգավորում անկախ է, ուստի դրան արգելելը ձեզ չի հեռացնում ChatGPT-ի որոնումից, որն օգտագործում է OAI-SearchBot-ը։ Նախ ստուգեք ձեր լոգերը՝ համոզվելու համար, որ բեռնվածությունը գալիս է OpenAI-ի հասցեներից։

Աղբյուրներ

Այլ հոդվածներ