Ինչպես արգելափակել AI ուսուցումը և մնալ AI որոնման պատասխաններում
AI մատակարարների մեծ մասը robots.txt-ում օգտագործում է առանձին նշաններ մոդելների ուսուցման և որոնման համար։ Արգելեք ուսուցման նշանները, ինչպիսիք են GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent և CCBot, և թույլատրեք որոնման ու օգտատիրոջ նշանները, ինչպիսիք են OAI-SearchBot, Claude-SearchBot և PerplexityBot։ Ավելացրեք Content-Signal տող՝ նույն նախընտրությունը բառերով նշելու համար։
Կայքերի շատ սեփականատերեր միաժամանակ երկու բան են ուզում. նրանք չեն ցանկանում, որ իրենց բովանդակությունն օգտագործվի AI մոդելներ ուսուցանելու համար, բայց ցանկանում են, որ AI օգնականները գտնեն, մեջբերեն և հղեն իրենց էջերը։ Քանի որ խոշոր մատակարարներն այժմ այս խնդիրները բաժանում են տարբեր ռոբոտների կամ նշանների միջև, robots.txt-ը կարող է արտահայտել երկու ընտրությունն էլ։ Բարդությունն այն է, որ անունները տարբերվում են մատակարարից մատակարար, մի քանի մատակարար չի տեղավորվում այս սխեմայի մեջ, և մեկ սխալ տողը կարող է ձեզ հեռացնել AI պատասխաններից՝ ուսուցման տվյալների փոխարեն։
Այս էջում
Ո՞րն է տարբերությունը ուսուցման ռոբոտի և որոնողական ռոբոտի միջև
Ուսուցման ռոբոտը հավաքում է էջեր, որոնք կարող են օգտագործվել AI մոդելներ ստեղծելու կամ բարելավելու համար։ Ուսուցումն ինքնին մեջբերում կամ հղում չի տալիս։ Որոնողական ռոբոտը կառուցում է ինդեքս, որը AI օգնականն օգտագործում է պատասխանի համար աղբյուրներ գտնելու համար, և հենց այդ աղբյուրներն է այն կարող մեջբերել։ Օգտատիրոջ կողմից գործարկվող ռոբոտը էջն ուղիղ բացում է, քանի որ ինչ-որ մեկը հարցրել է դրա մասին։
Մատակարարներն այս դերերը փաստաթղթավորում են առանձին և ասում են, որ կարգավորումներն անկախ են։ Օրինակ՝ OpenAI-ն ասում է, որ իր ռոբոտների robots.txt-ի յուրաքանչյուր կարգավորում անկախ է մյուսներից։ Ուստի ճիշտ արված ուսուցումից հրաժարումը չի ազդում ձեր տեսանելիության վրա որոնման մեջ։
Ո՞ր նշաններն են վերահսկում ուսուցումը, և որո՞նք՝ որոնումը
Ահա մատակարարների փաստաթղթավորած նշանները՝ խմբավորված ըստ այն բանի, թե ինչ են վերահսկում.
- OpenAI.
GPTBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել իր հիմնային մոդելների ուսուցման համար։OAI-SearchBot-ը ChatGPT որոնման համար է, իսկChatGPT-User-ը կատարում է օգտատերերի գործողությունները. OpenAI-ն ասում է, որ robots.txt-ը կարող է չկիրառվել դրա նկատմամբ։ - Anthropic.
ClaudeBot-ը հավաքում է բովանդակություն, որը կարող է նպաստել ուսուցմանը։Claude-SearchBot-ը բարելավում է Claude-ի որոնման արդյունքները, իսկClaude-User-ը բեռնում է էջեր օգտատերերի համար։ Anthropic-ն ասում է, որ իր բոտերը հարգում են robots.txt-ը։ - Google.
Google-Extended-ը robots.txt նշան է՝ առանց սեփական ռոբոտի։ Այն վերահսկում է օգտագործումը Gemini-ի ապագա մոդելների ուսուցման և Gemini Apps-ի ու Vertex AI-ի grounding-ի համար։ Google-ն ասում է, որ այն չի ազդում Google Search-ում ներառման կամ դասակարգման վրա, որը վերահսկվում էGooglebot-ի միջոցով։ - Apple.
Applebot-Extended-ը չի բեռնում էջեր. այն վերահսկում է, թե արդյոքApplebot-ի հավաքած բովանդակությունն օգտագործվում է Apple-ի հիմնային մոդելների ուսուցման համար։ Apple-ն ասում է, որ այն արգելող էջերը կարող են շարունակել հայտնվել իր որոնման արդյունքներում։ - Meta.
meta-externalagent-ը բեռնում է էջեր այնպիսի նպատակների համար, ինչպիսին է հիմնային մոդելների ուսուցումը, իսկmeta-webindexer-ը բարելավում է Meta AI-ի որոնման արդյունքները։ - Common Crawl.
CCBot-ը կառուցում է Common Crawl-ի հանրային վեբ արխիվը։ Cloudflare-ի կառավարվող robots.txt-ը այն նշում է այն AI ուսուցման ռոբոտների մեջ, որոնց արգելում է։ - Perplexity.
PerplexityBot-ը ևPerplexity-User-ը սպասարկում են որոնման և օգտատերերի հարցումները։ Perplexity-ն ասում է, որ դրանցից ոչ մեկը չի օգտագործվում ուսուցման տվյալներ հավաքելու համար, ուստի Perplexity-ի ուսուցման նշան, որը կարելի է արգելափակել, չկա։
Ինչպիսի՞ն է robots.txt-ը
Ըստ RFC 9309-ի՝ մի քանի User-agent տողերն անընդմեջ կազմում են մեկ խումբ, ուստի կանոնները կիրառվում են դրանցից յուրաքանչյուրի նկատմամբ։ Այս ֆայլը հրաժարվում է վերը նշված ուսուցման նշաններից, թույլատրում է որոնողական և օգտատիրոջ գործակալներին և փակ է պահում մեկ մասնավոր ուղի բոլորի համար.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Երկու մանրամասն կարևոր է։ Առաջին՝ անվանված խումբը չի ժառանգում *-ից, ուստի բոլոր մասնավոր ուղիները պետք է կրկնվեն որոնման խմբում։ Երկրորդ՝ մի ավելացրեք Googlebot-ը կամ Applebot-ը ուսուցման խմբում. դրանք որոնողական ռոբոտներն են, և դրանց արգելափակումը ձեզ հեռացնում է Google Search-ից և Apple-ի որոնման գործառույթներից։ Փոփոխությունները ակնթարթային չեն. OpenAI-ն որոնման համար նշում է մոտ 24 ժամ, իսկ Perplexity-ն՝ մինչև 24 ժամ։
Քանի՞ կայք է արդեն այդպես անում
Ավելի քիչ, քան կարող եք ակնկալել։ 2026-11-12-ին մենք կարդացինք Tranco ցուցակի ամենահայտնի 1 000 դոմենների robots.txt ֆայլերը։ robots.txt ունեցող 518-ից 155-ը (29,9%) արգելում են գլխավոր էջը առնվազն մեկ AI ուսուցման ռոբոտի համար։ Միայն 57-ն (11,0%) են ընտրում ընտրովի ճանապարհը. արգելափակում են ուսուցման ռոբոտներին և թույլատրում մեր ստուգած բոլոր AI որոնողական և օգտատիրոջ ռոբոտներին։ Ընդհանուր առմամբ 101 կայք (19,5%) արգելափակում է առնվազն մեկ AI որոնողական կամ օգտատիրոջ ռոբոտի։
Ըստ ռոբոտների թվերը ցույց են տալիս նույն բաժանումը։ GPTBot-ն արգելափակված է 111 կայքում (21,4%), իսկ OAI-SearchBot-ը՝ 58-ում (11,2%)։ ClaudeBot-ն արգելափակված է 110-ում (21,2%), Claude-SearchBot-ը՝ 67-ում (12,9%)։ Google-Extended-ն արգելափակված է 94-ում (18,1%), Googlebot-ը՝ 14-ում (2,7%)։ Միայն 18 կայք (3,5%) է օգտագործում Content-Signal։
Ուսումնասիրությունը դիտարկում է robots.txt-ի կանոնները միայն գլխավոր էջի համար։ Այն չի չափում ֆայրվոլի արգելափակումները և ցույց չի տալիս, թե ինչ է մտադրվել յուրաքանչյուր կայք։
Ի՞նչ է ավելացնում Content-Signal-ը
Content Signals-ը robots.txt-ի ընդլայնում է, որը Cloudflare-ը հրապարակել է contentsignals.org կայքում։ Content-Signal տողը նշում է, թե ինչպես կարող է օգտագործվել բովանդակությունը, երեք ազդանշանով. search (որոնման ինդեքսի կառուցում և հղումների ու կարճ հատվածների ցուցադրում), ai-input (բովանդակության փոխանցում AI մոդելներին իրական ժամանակում, օրինակ՝ grounding կամ retrieval գեներատիվ պատասխանների համար) և ai-train (մոդելների ուսուցում կամ fine-tuning)։
Նկատի ունեցեք, որ search-ի սահմանումը բացառում է AI-ի գեներացրած որոնման ամփոփումները։ Եթե ցանկանում եք հայտնվել AI պատասխաններում, սահմանեք նաև ai-input=yes, ինչպես վերևի օրինակում։ Cloudflare-ի կառավարվող robots.txt-ը լռելյայն ավելացնում է search=yes, ai-train=no. ազդանշանը, որը բաց եք թողնում, ոչ թույլատրում է, ոչ էլ սահմանափակում այդ օգտագործումը։
Սրանք հայտարարված նախընտրություններ են։ Content Signals կայքն ասում է, որ դրանք տեխնիկապես չեն կանխում ռոբոտային բեռնումը, իսկ Cloudflare-ը նշում է, որ robots.txt-ին հետևելը կամավոր է։ OpenAI-ի, Anthropic-ի, Google-ի կամ Perplexity-ի ռոբոտների էջերից ոչ մեկը, որ մենք ստուգել ենք, չի ասում, թե արդյոք դրանք կարդում են Content-Signal-ը, ուստի դիտարկեք այն որպես լրացում ըստ ռոբոտների խմբերին, ոչ թե փոխարինում։
Որտե՞ղ բաժանումը մաքուր չի աշխատում
Մի քանի դեպք զգուշություն է պահանջում.
- Google AI Overviews-ը և AI Mode-ը հենվում են Search-ի ինդեքսի վրա, որը կառուցում է
Googlebot-ը, ուստիGoogle-Extended-ը ձեզ դրանցից չի հանում։ Google-ի Search Console-ի օգնությունը հավելում է, որGoogle-Extended-ը սահմանափակում է Search-ի գեներատիվ AI գործառույթների հիմքում ընկած մոդելների ուսուցումը, մի շրջանակ, որը նրա ռոբոտների փաստաթղթերը չեն նշում։ Google-ն այժմ առաջարկում է Search Console-ի առանձին կարգավորում՝ կայքը AI Overviews-ից և AI Mode-ից բացառելու համար։ - OpenAI-ն ասում է, որ եթե կայքը թույլատրում է և՛
GPTBot-ին, և՛OAI-SearchBot-ին, այն կարող է մեկ բեռնման արդյունքներն օգտագործել երկու նպատակների համար։ ՀենցGPTBot-ին արգելելն է ազդանշում, որ բովանդակությունը չպետք է օգտագործվի ուսուցման համար։ - Հրաժարումները նայում են առաջ։ Օրինակ՝ Anthropic-ը
ClaudeBot-ին արգելելը նկարագրում է որպես ձեր կայքի ապագա բովանդակության բացառում ուսուցման տվյալների հավաքածուներից։ - Օգտատիրոջ կողմից գործարկվող ռոբոտները մեջտեղում են։ OpenAI-ն և Perplexity-ն ասում են, որ robots.txt-ը կարող է չկիրառվել
ChatGPT-User-ի նկատմամբ և, որպես կանոն, չի կիրառվումPerplexity-User-ի նկատմամբ։ - Ֆայրվոլները robots.txt չեն կարդում։ Բոտերի լայն արգելափակման կանոնը կարող է կանգնեցնել ձեր թույլատրած որոնողական ռոբոտներին։ Եթե ուսուցման արգելքը կիրառում եք ֆայրվոլում, համընկեք ուսուցման գործակալներին ըստ անվան և հաստատեք դրանք ըստ հրապարակված IP տիրույթների։
Ինչպե՞ս ստուգել, որ բաժանումն աշխատում է
Կարդացեք ձեր robots.txt-ը այնպես, ինչպես կկարդար յուրաքանչյուր ռոբոտ. գտեք այն խումբը, որն անվանում է նրան, անցեք *-ին միայն եթե այդպիսին չկա, և կիրառեք ամենաերկար համընկնող կանոնը։ Այնուհետև հարցրեք էջը յուրաքանչյուր որոնողական ռոբոտի user agent-ով և համոզվեք, որ այն ստանում է 200՝ ամբողջական բովանդակությամբ, ոչ թե 403 կամ ստուգման էջ։
AISeeWhy-ն երկուսն էլ անում է 14 ռոբոտի համար՝ խմբավորված որպես ուսուցման, որոնողական և օգտատիրոջ գործակալներ, և նշում է ամենատարածված սխալը. որոնման նշանի, օրինակ՝ PerplexityBot-ի կամ Claude-SearchBot-ի արգելափակումը, երբ նպատակը ուսուցումն արգելափակելն էր։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
GPTBot-ին արգելափակելը կհեռացնի՞ իմ կայքը ChatGPT-ի պատասխաններից
Ոչ։ OpenAI-ն ասում է, որ GPTBot-ը ուսուցման համար է, և որ robots.txt-ի յուրաքանչյուր կարգավորում անկախ է։ ChatGPT որոնումն օգտագործում է OAI-SearchBot-ը. քանի դեռ այն թույլատրված է և արգելափակված չէ ձեր ֆայրվոլի կողմից, ձեր էջերը մնում են ընտրելի։
Google-Extended-ին արգելափակելը ինձ կհեռացնի՞ AI Overviews-ից
Google-ի փաստաթղթերի համաձայն՝ ոչ։ Google-ն ասում է, որ Google-Extended-ը չի ազդում Google Search-ում ներառման վրա, իսկ AI Overviews-ը հենվում է Search-ի ինդեքսի վրա։ Google-ն առաջարկում է Search Console-ի առանձին կարգավորում՝ կայքը AI Overviews-ից և AI Mode-ից բացառելու համար։
Կա՞ մեկ տող, որն արգելափակում է ողջ AI ուսուցումը
Ստանդարտ տող չկա։ Content-Signal: ai-train=no-ն նշում է նախընտրությունը բոլոր ռոբոտների համար, բայց թե արդյոք ռոբոտը հարգում է այն, կախված է օպերատորից։ Ուսուցման յուրաքանչյուր նշանի համար անվանված խմբերն են փաստաթղթավորված միջոցը։
Պե՞տք է արգելափակեմ Perplexity-ին՝ AI ուսուցումը կանգնեցնելու համար
Perplexity-ն ասում է, որ իր գործակալները չեն օգտագործվում ուսուցման տվյալներ հավաքելու համար։ PerplexityBot-ին արգելափակելը նվազեցնում է ձեր տեսանելիությունը Perplexity-ի որոնման արդյունքներում՝ առանց ուսուցումից հրաժարման ծառայելու։
Աղբյուրներ
- OpenAI: OpenAI-ի ռոբոտների ակնարկ
- Anthropic: Արդյո՞ք Anthropic-ը հավաքում է տվյալներ վեբից, և ինչպե՞ս կարող են կայքերի սեփականատերերն արգելափակել ռոբոտին
- Google: Ընդհանուր ռոբոտներ, ներառյալ Google-Extended-ը
- Google Search Console-ի օգնություն. Search-ի գեներատիվ AI-ի կարգավորում
- Apple: Applebot-ի մասին
- Meta: Meta-ի վեբ ռոբոտները
- Common Crawl: CCBot
- Perplexity: Perplexity-ի ռոբոտները
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Կառավարվող robots.txt և Content Signals
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11