Ինչո՞ւ է իմ կայքը հանկարծ արգելափակում AI ռոբոտներին

Հրապարակված է

Կարճ պատասխան

Կայքը, որը սկսում է արգելափակել AI ռոբոտներին, գրեթե միշտ փոխվել է հինգ տեղերից մեկում. իրականում մատուցվող robots.txt-ը, CDN-ի կարգավորումը, օրինակ՝ Cloudflare-ի AI ռոբոտների քաղաքականությունները, բոտերից պաշտպանությունը կամ արագության սահմանափակումը, հոսթինգի լռելյայն կարգավորումը, կամ robots.txt-ը, որն այժմ պատասխանում է սխալով։ Բեռնեք այսօրվա robots.txt-ը և էջը՝ որպես յուրաքանչյուր ռոբոտ, համեմատեք դրանք բրաուզերի և նախկինում եղածի հետ, և ստուգեք այդ շերտերը նույն հերթականությամբ։

Ոչ ոք չի որոշում անհետանալ AI պատասխաններից։ Դա տեղի է ունենում որպես թեմայի թարմացման, անվտանգության կարգավորման, միգրացիայի կամ մատակարարի մոտ փոխված լռելյայն կարգավորման կողմնակի ազդեցություն։ Բրաուզերը դեռ սովորական ձևով է տեսնում կայքը, ուստի փոփոխությունը կարող է աննկատ մնալ, մինչև ինչ-որ մեկը ChatGPT-ին կամ Perplexity-ին հարցնի արտադրանքի մասին և ստանա մրցակցին։ Յուրաքանչյուր շերտ թողնում է հետքեր, որոնք կարող եք ստուգել դրսից կամ ձեր լոգերում։

Այս էջում
  1. Փոխվե՞լ է robots.txt-ը, որը ստանում են ռոբոտները
  2. Cloudflare-ի 2026-ի AI ռոբոտների քաղաքականությունները փոխե՞լ են այն, ինչ թույլատրում է իմ կայքը
  3. Բոտերից պաշտպանությունը կամ արագության սահմանափակումը որսո՞ւմ են ռոբոտներին
  4. Իմ հոսթինգ մատակարարը փոխե՞լ է իր լռելյայն կարգավորումները
  5. robots.txt-ը պատասխանո՞ւմ է սխալով
  6. Ինչպե՞ս պարզել, թե երբ է սա սկսվել
  7. Ինչպե՞ս հաջորդ անգամ սա ավելի շուտ նկատել

Փոխվե՞լ է robots.txt-ը, որը ստանում են ռոբոտները

Բեռնեք https://yourdomain.com/robots.txt-ը և համեմատեք այն ձեր ռեպոզիտորիայի կամ պահուստային պատճենի ֆայլի հետ։ Նայեք մատուցվող ֆայլին, ոչ թե սկավառակի վրա եղածին, քանի որ մի քանի շերտ կարող է այն փոխել ճանապարհին.

Google Search Console-ի robots.txt հաշվետվությունը ցույց է տալիս վերջին 30 օրում Google-ի բեռնած տարբերակները՝ նոր գրառումով ամեն անգամ, երբ ֆայլը կամ բեռնման արդյունքը փոխվել է։ Այն ընդգրկում է միայն այն, ինչ տեսել է Google-ը, բայց եթե ձեր սերվերը robots.txt-ը չի փոխում ըստ user agent-ի, AI ռոբոտները ստացել են նույն ֆայլը։

Cloudflare-ի 2026-ի AI ռոբոտների քաղաքականությունները փոխե՞լ են այն, ինչ թույլատրում է իմ կայքը

Cloudflare-ը մի քանի անգամ փոխել է AI ռոբոտների իր կարգավորումները, և որոշ փոփոխություններ փոխում են զոնայի վարքը՝ առանց որևէ մեկի խմբագրման։ 2025 թ. հուլիսի 1-ին այն սկսեց նոր դոմեններին գրանցման ժամանակ հարցնել՝ թույլատրե՞լ AI ռոբոտներին, որպես սկզբնական վիճակ ունենալով արգելափակումը։ 2026 թ. հուլիսի 1-ին այն միակ Block AI bots անջատիչը փոխարինեց առանձին Search, Agent և Training քաղաքականություններով՝ բոլոր պլանների համար, ներառյալ Free-ն։

Կայքերի մեծ մասին բռնացնող մանրուքը խառը նպատակով ռոբոտներն են։ Cloudflare-ի փաստաթղթերն ասում են, որ Training գործողությունները կիրառվում են նաև այն ռոբոտների նկատմամբ, որոնք օգտագործվում են և՛ որոնման, և՛ ուսուցման համար։ Նրա 2026 թ. հուլիսի հայտարարությունն ասում էր, որ 2026 թ. սեպտեմբերի 15-ից բազմանպատակ ռոբոտները, ինչպիսիք են Googlebot-ը, Applebot-ը և BingBot-ը, կարգելափակվեն այն հաճախորդների համար, ովքեր ընտրել են արգելափակել Training-ը՝ նոր տարբերակներով կամ հին Block AI bots կարգավորմամբ։ Այսպիսով, մեկ տարի առաջ սահմանված ուսուցումից հրաժարումը այժմ կարող է հասնել որոնողական ռոբոտներին։

Նոր դոմենների լռելյայն կարգավորումները ժամանակի ընթացքում տարբեր կերպ են նկարագրվել։ Նույն հայտարարությունն ասում էր, որ 2026 թ. սեպտեմբերի 15-ից նոր դոմենների համար Training-ը և Agent-ը կարգելափակվեն գովազդ ցուցադրող էջերում, մինչդեռ 2026 թ. նոյեմբերի 2-ին թարմացված քաղաքականության փաստաթղթերն ասում են, որ նոր դոմենները սկսում են երեքն էլ Allow վիճակում։ Բացեք Security, ապա Settings, զտեք ըստ Bot traffic-ի և կարդացեք AI Crawler and Agent access policies-ը ձեր սեփական զոնայի համար։ Cloudflare AI Crawl Control-ի մասին մեր ուղեցույցը բացատրում է յուրաքանչյուր կարգավորում։

Բոտերից պաշտպանությունը կամ արագության սահմանափակումը որսո՞ւմ են ռոբոտներին

Բոտերից պաշտպանությունը գնահատում է յուրաքանչյուր հարցում, իսկ ռոբոտները տվյալների կենտրոններից արագ բեռնում են բազմաթիվ էջեր, ինչն էլ հենց բոտերն են անում։ Ռոբոտը, որն անցյալ ամիս անցնում էր, կարող է սկսել ստուգման էջեր ստանալ այն բանից հետո, երբ նրա օպերատորը փոխում է IP տիրույթները կամ շրջանցման արագությունը, կամ երբ պաշտպանության կանոնները թարմացվում են։ Cloudflare-ի Bot Fight Mode-ը տարածված պատճառ է, և Cloudflare-ն ասում է, որ այն հնարավոր չէ շրջանցել կամ բաց թողնել WAF custom rules-ով կամ Page Rules-ով, ուստի ավելի ուշ ավելացված թույլատրող կանոնը չի օգնի, քանի դեռ այն միացված է։ Նոր արագության սահմանափակումը, որը պոռթկումներին պատասխանում է 429-ով, նույն ազդեցությունն ունի զբաղված ռոբոտի վրա։

Փորձարկեք դրսից. հարցրեք էջը որպես բրաուզեր և որպես երկու AI որոնողական ռոբոտ, ապա հարցրեք robots.txt-ը որպես ռոբոտ։

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

403, 429 կամ 503 միայն ռոբոտի համար, Just a moment... վերնագրով էջ կամ բրաուզերինից շատ ավելի փոքր պատասխան նշանակում է, որ ռոբոտին այլ կերպ են վերաբերվում։ Թեստը գալիս է ձեր IP-ից, ոչ թե մատակարարի, ուստի հաստատված բոտի կարգավիճակի վրա հիմնված կանոնները դեռ կարող են իրական ռոբոտին այլ կերպ վերաբերվել։ Ֆայրվոլի իրադարձությունների լոգը ցույց է տալիս, թե որ կանոնն է պատասխանել։

Իմ հոսթինգ մատակարարը փոխե՞լ է իր լռելյայն կարգավորումները

Որոշ հոսթեր զտում են AI երթևեկը սերվերում՝ նախքան ձեր սեփական կանոնների աշխատելը։ SiteGround-ը, օրինակ, 2025 թ. օգոստոսին գրել է, որ լռելյայն արգելափակում է ուսուցման տվյալներ հավաքելու համար նախատեսված AI ռոբոտներին և թույլատրում է այն ռոբոտներին, որոնք այցելում են, երբ մարդը AI օգնականին հարցնում է էջի մասին։ Նման կանոնները չեն երևում ձեր robots.txt-ում, և դրանք կարող են փոխվել, երբ հոսթը թարմացնում է իր բոտերի ցանկերը։

Եթե արգելափակումը միաժամանակ հայտնվում է նույն հոսթի մի քանի կայքերում, կամ պատասխաններում, որոնք երբեք չեն հասնում ձեր հավելվածի լոգերին, հարցրեք հոսթին, թե բոտերի որ կանոններն են կիրառվում ձեր հաշվի նկատմամբ, և արդյոք կարող եք բացառություն անել այն ռոբոտների համար, որոնց ուզում եք պահել։

robots.txt-ը պատասխանո՞ւմ է սխալով

Ձախողվող robots.txt-ը կարող է արգելափակել ավելին, քան ցանկացած Disallow տող։ Ըստ RFC 9309-ի՝ 4xx պատասխանը նշանակում է, որ ռոբոտը կարող է բեռնել ամեն ինչ, բայց սերվերի սխալը (5xx) կամ պատասխանի բացակայությունը նշանակում է, որ նա պետք է ենթադրի, թե ամբողջ կայքն արգելված է։ Google-ը նման սխալների առաջին 12 ժամում դադարեցնում է շրջանցումը, ապա մինչև 30 օր օգտագործում է իր վերջին լավ պատճենը։

Այսպես բեռնվածության թռիչքը, /robots.txt-ին ստուգում ներկայացնող ֆայրվոլի կանոնը կամ այն ներառող արագության սահմանափակումը կարող են դուրս թողնել լավ վարքագծով ռոբոտներին՝ առանց որևէ կանոնի փոփոխության։ Վերևի թեստի վերջին հրամանը պետք է վերադարձնի 200 և text/plain։ Այնտեղ 5xx-ը, ժամանակի սպառումը կամ ստուգման էջը առաջինն է, որ պետք է ուղղել։

Ինչպե՞ս պարզել, թե երբ է սա սկսվել

Ամսաթիվը առեղծվածը դարձնում է համեմատություն։ Ձեր մուտքի լոգերում զտեք AI ռոբոտների user agent-ներից եկող հարցումները և փնտրեք այն օրը, երբ նրանց կարգավիճակի կոդերը 200-ից դարձան 403, 429 կամ 503, կամ այն օրը, երբ նրանք robots.txt-ը կարդալուց հետո դադարեցին էջեր հարցնել. AI ռոբոտների համար սերվերի լոգերը ստուգելու մեր ուղեցույցում կան հրամանները։ CDN-ի արգելափակած հարցումները երբեք չեն հասնում origin սերվերին, ուստի ստուգեք նաև CDN-ը։ Cloudflare-ում AI Crawl Control-ը ցույց է տալիս կարգավիճակի կոդերի բաշխումը ժամանակի ընթացքում, որը կարող եք զտել ըստ ռոբոտի։

Այնուհետև այդ ամսաթիվը համադրեք թողարկումների, պլագինների և թեմաների թարմացումների, CDN-ի կարգավորումների փոփոխությունների և մատակարարների հայտարարությունների հետ։ Գործելուց առաջ հաստատեք, որ աղբյուր IP-ները պատկանում են մատակարարին, որպեսզի նայեք իրական ռոբոտին, ոչ թե նրա անունն օգտագործող խաբեբային։

Ինչպե՞ս հաջորդ անգամ սա ավելի շուտ նկատել

Ստուգեք հասանելիությունը յուրաքանչյուր թողարկումից, CDN-ի փոփոխությունից և պլագինի թարմացումից հետո, ոչ միայն երբ երթևեկն ընկնում է։ AISeeWhy-ի անվճար ստուգումը բեռնում է էջը որպես 16 AI և որոնողական ռոբոտներ՝ իրական բրաուզերի կողքին, ձեր robots.txt-ը կիրառում է ըստ ռոբոտի և ճանաչում է ֆայրվոլի ստուգման էջերը։ Անվճար robots.txt ստուգիչը ցույց է տալիս, ըստ ռոբոտի, թե արդյոք էջը կարող է բեռնվել այսօր գործող ֆայլով։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Ինչո՞ւ ChatGPT-ն դադարեց ցույց տալ իմ կայքը

Հաճախ այն պատճառով, որ OAI-SearchBot-ը՝ ChatGPT-ի որոնման հետևում կանգնած ռոբոտը, արգելափակվել է robots.txt-ի փոփոխությամբ, CDN-ի քաղաքականությամբ կամ բոտերից պաշտպանությամբ։ OpenAI-ն ասում է, որ այն արգելափակող կայքերը չեն հայտնվի ChatGPT-ի որոնման պատասխաններում։ Ստուգեք յուրաքանչյուր շերտ այդ ռոբոտի համար և robots.txt-ի ուղղումից հետո սպասեք մոտ 24 ժամ. OpenAI-ի խոսքով՝ այդքան է պահանջվում իր համակարգերին՝ հարմարվելու համար։

Cloudflare-ը սկսե՞լ է արգելափակել Googlebot-ին իմ կայքում

Դա կարող է պատահել։ Cloudflare-ն ասել է, որ 2026 թ. սեպտեմբերի 15-ից Training-ն արգելափակող հաճախորդներն արգելափակում են նաև բազմանպատակ ռոբոտներին, ինչպիսիք են Googlebot-ը, Applebot-ը և BingBot-ը։ Նրա փաստաթղթերն ասում են, որ Training Disallow տարբերակն արգելափակում է ուսուցման ռոբոտներին edge-ում, բայց դուրս է թողնում խառը օգտագործման ռոբոտներին, ուստի ստուգեք, թե որ տարբերակն է օգտագործում ձեր զոնան։

Կարո՞ղ է կայքի կառուցիչը կամ պլագինը փոխել robots.txt-ը իմ փոխարեն

Այո։ Կայքի կառուցիչները և SEO կամ անվտանգության պլագինները կարող են AI ռոբոտների կանոններ գրել robots.txt-ում, և որոշները ժամանակի ընթացքում ընդլայնում են իրենց բոտերի ցանկերը։ Յուրաքանչյուր թարմացումից հետո բեռնեք գործող ֆայլը և կարդացեք այն խմբերը, որոնք կիրառվում են ձեզ հետաքրքրող որոնողական ռոբոտների նկատմամբ։

Ինչո՞ւ է իմ գործող robots.txt-ը տարբերվում սերվերի ֆայլից

Ձեր սերվերի առջև ինչ-որ բան փոխում է այն։ Cloudflare-ի կառավարվող robots.txt-ը, օրինակ, նույն պատասխանում ձեր ֆայլի սկզբում ավելացնում է իր սեփական կանոններն ու content signals-ը։ CMS-ը, որը robots.txt-ը ստեղծում է հարցման պահին, կամ հոսթի մակարդակի կարգավորումը նույնպես կարող են փոխարինել կամ ընդլայնել այն։

Որքա՞ն ժամանակ անց AI ռոբոտները կվերադառնան ուղղումից հետո

RFC 9309-ն ասում է, որ ռոբոտները չպետք է քեշավորված robots.txt-ն օգտագործեն 24 ժամից ավելի, OpenAI-ն ասում է մոտ 24 ժամ, իսկ Perplexity-ն՝ մինչև 24 ժամ։ Ֆայրվոլի փոփոխությունները կիրառվում են, հենց որ ձեր մատակարարը դրանք տեղակայի, բայց ռոբոտները վերադառնում են իրենց սեփական ժամանակացույցով։

Աղբյուրներ

Այլ հոդվածներ