robots.txt-ի գեներատոր AI ռոբոտների համար

Ընտրեք, թե որ AI ռոբոտները կարող են կարդալ ձեր կայքը, և պատճենեք ստեղծված robots.txt-ը։ Տարածված ընտրություն է արգելափակել AI ուսուցման ռոբոտները, օրինակ՝ GPTBot-ը և ClaudeBot-ը, բայց թույլատրել AI որոնման ռոբոտները, օրինակ՝ OAI-SearchBot-ը և PerplexityBot-ը, որպեսզի ձեր էջերը շարունակեն հայտնվել AI պատասխաններում և հղվել դրանցում։

Սկսել
AI ուսուցում
AI որոնում
Օգտատիրոջ հարցմամբ բեռնում
Content-Signal (ըստ ցանկության). նշեք այն, ինչ թույլատրում եք

Օգտատիրոջ հարցմամբ բեռնող ռոբոտների արգելափակումը սահմանափակ ազդեցություն ունի. որոշ մատակարարներ նշում են, որ այդ գործակալները կարող են չհետևել robots.txt-ին, քանի որ էջը խնդրել է մարդը։ Ստուգեք արդյունքը robots.txt-ի ստուգիչով նախքան հրապարակելը։ robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար →

Ինչպես օգտագործել

Տեղադրեք ֆայլը ձեր դոմենի արմատում (https://example.com/robots.txt)։ Եթե արդեն ունեք կանոններ այլ ռոբոտների համար, պահեք դրանք և ավելացրեք միայն AI խմբերը։ Փոփոխություններն ուժի մեջ են մտնում, երբ յուրաքանչյուր ռոբոտ հաջորդ անգամ կարդում է ֆայլը, սովորաբար մեկ օրվա ընթացքում։

Գործարկել ամբողջական ստուգումը →

Ուղեցույց

Ինչպես օգտագործել robots.txt-ի գեներատորը

Այս տեքստը անգլերենից թարգմանվել է մեքենայական թարգմանությամբ։

Ինչ է գրում գեներատորը

Նշեք այն ռոբոտները, որոնք կարող են կարդալ ձեր կայքը, և հանեք նշումը նրանցից, որոնց ցանկանում եք արգելափակել։ Գեներատորը գրում է robots.txt՝ յուրաքանչյուր արգելափակված ռոբոտի համար մեկ խումբ, User-agent: <token>, որին հաջորդում է Disallow: /, ապա փակող User-agent: * խումբ, որը թույլատրում է մնացած ամեն ինչ։ Ավելացրեք sitemap-ի հասցե, և այն կավելացնի Sitemap տող։ Նշեք Content-Signal-ի ընտրանքները, և այն կավելացնի Content-Signal տող, որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը։

Ոչինչ դուրս չի գալիս ձեր բրաուզերից. ֆայլը կառուցվում է էջում, երբ սեղմում եք, և դուք այն պատճենում եք ելքային դաշտից։

Որ նախադրվածքից սկսել

Օրինակ. արգելափակել ուսուցումը, թույլատրել AI որոնումը

Յուրաքանչյուր արգելափակված ռոբոտ ունի իր խումբը, ուստի նրա Disallow: /-ը կիրառվում է միայն նրա նկատմամբ։ Մնացած բոլոր ռոբոտները, ներառյալ OAI-SearchBot-ը և Googlebot-ը, անցնում են User-agent: *-ին և կարող են կարդալ ամեն ինչ։ Content-Signal տողը նույն մտադրությունը կրկնում է այն ռոբոտների համար, որոնք կարդում են այն. որոնում և իրական ժամանակի պատասխաններ՝ այո, ուսուցում՝ ոչ։

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Նախքան հրապարակելը

Տարածված սխալներ

Հաճախ տրվող հարցեր

GPTBot-ի արգելափակումը կհեռացնի՞ իմ կայքը ChatGPT-ից

Ոչ։ GPTBot-ը հավաքում է ուսուցման տվյալներ։ ChatGPT-ի որոնումն օգտագործում է OAI-SearchBot-ը, իսկ ChatGPT-User-ը բացում է էջերը, որոնք մարդիկ խնդրում են։ Եթե ցանկանում եք մեջբերվել, թողեք դրանք թույլատրված։

Ի՞նչ է Content-Signal-ը

Տող robots.txt-ում, որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը. search, ai-input (պատասխաններ իրական ժամանակում) և ai-train (ուսուցում), յուրաքանչյուրը՝ այո կամ ոչ։ Աջակցությունը տարբերվում է ըստ մատակարարի. ռոբոտների հետևած կանոնը մնում են կոնկրետ ռոբոտների խմբերը։

Google-Extended-ը ազդո՞ւմ է Google Search-ի վրա

Ոչ։ Այն միայն robots.txt-ում գործող նշան է, որը վերահսկում է, թե արդյոք Google-ը կարող է օգտագործել ձեր էջերը իր AI մոդելների համար. այն չի փոխում շրջանցումը կամ դասակարգումը Google Search-ում։

Իմ ընտրությունն ինչ-որ տեղ ուղարկվո՞ւմ է

Ոչ։ Գեներատորն աշխատում է ձեր բրաուզերում, և մեր սերվերին ոչինչ չի ուղարկվում, քանի դեռ դուք չեք որոշել փորձարկել ֆայլը։

Առնչվող գործիքներ և ուղեցույցներ