Ընտրեք, թե որ AI ռոբոտները կարող են կարդալ ձեր կայքը, և պատճենեք ստեղծված robots.txt-ը։ Տարածված ընտրություն է արգելափակել AI ուսուցման ռոբոտները, օրինակ՝ GPTBot-ը և ClaudeBot-ը, բայց թույլատրել AI որոնման ռոբոտները, օրինակ՝ OAI-SearchBot-ը և PerplexityBot-ը, որպեսզի ձեր էջերը շարունակեն հայտնվել AI պատասխաններում և հղվել դրանցում։
Օգտատիրոջ հարցմամբ բեռնող ռոբոտների արգելափակումը սահմանափակ ազդեցություն ունի. որոշ մատակարարներ նշում են, որ այդ գործակալները կարող են չհետևել robots.txt-ին, քանի որ էջը խնդրել է մարդը։ Ստուգեք արդյունքը robots.txt-ի ստուգիչով նախքան հրապարակելը։ robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար →
Ինչպես օգտագործել
Տեղադրեք ֆայլը ձեր դոմենի արմատում (https://example.com/robots.txt)։ Եթե արդեն ունեք կանոններ այլ ռոբոտների համար, պահեք դրանք և ավելացրեք միայն AI խմբերը։ Փոփոխություններն ուժի մեջ են մտնում, երբ յուրաքանչյուր ռոբոտ հաջորդ անգամ կարդում է ֆայլը, սովորաբար մեկ օրվա ընթացքում։
Այս տեքստը անգլերենից թարգմանվել է մեքենայական թարգմանությամբ։
Ինչ է գրում գեներատորը
Նշեք այն ռոբոտները, որոնք կարող են կարդալ ձեր կայքը, և հանեք նշումը նրանցից, որոնց ցանկանում եք արգելափակել։ Գեներատորը գրում է robots.txt՝ յուրաքանչյուր արգելափակված ռոբոտի համար մեկ խումբ, User-agent: <token>, որին հաջորդում է Disallow: /, ապա փակող User-agent: * խումբ, որը թույլատրում է մնացած ամեն ինչ։ Ավելացրեք sitemap-ի հասցե, և այն կավելացնի Sitemap տող։ Նշեք Content-Signal-ի ընտրանքները, և այն կավելացնի Content-Signal տող, որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը։
Ոչինչ դուրս չի գալիս ձեր բրաուզերից. ֆայլը կառուցվում է էջում, երբ սեղմում եք, և դուք այն պատճենում եք ելքային դաշտից։
Որ նախադրվածքից սկսել
Թույլատրել բոլորին. յուրաքանչյուր ռոբոտ կարող է կարդալ յուրաքանչյուր էջ։ Հարմար է կայքերի մեծ մասի համար, որոնք ցանկանում են, որ իրենց գտնեն և մեջբերեն։
Արգելափակել ուսուցումը, թույլատրել AI որոնումը. ուսուցման ռոբոտները, օրինակ՝ GPTBot, ClaudeBot, CCBot և Google-Extended, արգելափակված են, որոնողական և օգտատիրոջ ռոբոտները, օրինակ՝ OAI-SearchBot, Claude-SearchBot, PerplexityBot և ChatGPT-User, մնում են թույլատրված։ Ձեր էջերը դեռ կարող են հայտնվել և մեջբերվել AI պատասխաններում։
Արգելափակել բոլոր AI ռոբոտներին. ցանկի բոլոր AI ռոբոտները արգելափակված են։ Այդ ռոբոտները ձեր էջերը չեն բեռնի AI պատասխանների համար, ինչը սովորաբար նշանակում է ավելի քիչ մեջբերումներ և ավելի քիչ տրաֆիկ օգնականներից։
Օրինակ. արգելափակել ուսուցումը, թույլատրել AI որոնումը
Յուրաքանչյուր արգելափակված ռոբոտ ունի իր խումբը, ուստի նրա Disallow: /-ը կիրառվում է միայն նրա նկատմամբ։ Մնացած բոլոր ռոբոտները, ներառյալ OAI-SearchBot-ը և Googlebot-ը, անցնում են User-agent: *-ին և կարող են կարդալ ամեն ինչ։ Content-Signal տողը նույն մտադրությունը կրկնում է այն ռոբոտների համար, որոնք կարդում են այն. որոնում և իրական ժամանակի պատասխաններ՝ այո, ուսուցում՝ ոչ։
Միավորեք, մի փոխարինեք։ Եթե ձեր ներկայիս robots.txt-ն ունի կանոններ ադմինիստրատիվ բաժինների, զամբյուղների կամ որոնման էջերի համար, պատճենեք դրանք նոր ֆայլի User-agent: * խմբում, այլապես այդ բաժինները կբացեք բոլոր ռոբոտների համար։
Տեղադրեք ֆայլը յուրաքանչյուր հոսթի արմատում՝ https://example.com/robots.txt։ Ենթադոմենին պետք է իր ֆայլը։
Մատուցեք այն որպես պարզ տեքստ՝ 200 կարգավիճակով։ HTML էջը կամ սխալը այդ հասցեում չի աշխատում որպես robots.txt։
Տեղադրեք արդյունքը robots.txt-ի ստուգիչում և ստուգեք մի քանի իրական ուղի ձեզ հետաքրքրող ռոբոտների համար։
Հիշեք, որ robots.txt-ը խնդրանք է։ Եթե ֆայրվոլն արգելափակում է ռոբոտին, որին դուք թույլատրում եք, ֆայլը դա չի կարող շտկել. ամբողջական ստուգումը ցույց է տալիս դա։
Տարածված սխալներ
OAI-SearchBot-ի կամ PerplexityBot-ի արգելափակումը ուսուցումը կանգնեցնելու համար։ Դրանք որոնողական ռոբոտներ են. դրանց արգելափակումը ձեզ հեռացնում է պատասխաններից։
Մի քանի User-agent տող գրել մեկ Disallow: /-ից վերև, երբ ցանկանում էիք արգելափակել դրանցից միայն մեկը. իրար տակ գրված տողերը կազմում են մեկ խումբ։
Ակնկալել, որ օգտատիրոջ խնդրանքով աշխատող բեռնիչները, օրինակ՝ ChatGPT-User-ը, կենթարկվեն արգելափակմանը։ Որոշ մատակարարներ ասում են, որ այս գործակալները կարող են չհետևել robots.txt-ին, երբ էջը մարդն է խնդրել։
Crawl-delay կամ Noindex տողեր ավելացնել։ Դրանք RFC 9309-ի մաս չեն, և Google-ն անտեսում է երկուսն էլ։
Հաճախ տրվող հարցեր
GPTBot-ի արգելափակումը կհեռացնի՞ իմ կայքը ChatGPT-ից
Ոչ։ GPTBot-ը հավաքում է ուսուցման տվյալներ։ ChatGPT-ի որոնումն օգտագործում է OAI-SearchBot-ը, իսկ ChatGPT-User-ը բացում է էջերը, որոնք մարդիկ խնդրում են։ Եթե ցանկանում եք մեջբերվել, թողեք դրանք թույլատրված։
Ի՞նչ է Content-Signal-ը
Տող robots.txt-ում, որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը. search, ai-input (պատասխաններ իրական ժամանակում) և ai-train (ուսուցում), յուրաքանչյուրը՝ այո կամ ոչ։ Աջակցությունը տարբերվում է ըստ մատակարարի. ռոբոտների հետևած կանոնը մնում են կոնկրետ ռոբոտների խմբերը։
Google-Extended-ը ազդո՞ւմ է Google Search-ի վրա
Ոչ։ Այն միայն robots.txt-ում գործող նշան է, որը վերահսկում է, թե արդյոք Google-ը կարող է օգտագործել ձեր էջերը իր AI մոդելների համար. այն չի փոխում շրջանցումը կամ դասակարգումը Google Search-ում։
Իմ ընտրությունն ինչ-որ տեղ ուղարկվո՞ւմ է
Ոչ։ Գեներատորն աշխատում է ձեր բրաուզերում, և մեր սերվերին ոչինչ չի ուղարկվում, քանի դեռ դուք չեք որոշել փորձարկել ֆայլը։