Տեսնո՞ւմ է արդյոք ChatGPT-ն իմ կայքը։ Ինչպես ստուգել
Տեղադրեք ձեր էջը և մոտ 30 վայրկյանում տեսեք՝ ChatGPT-ի ռոբոտները կարո՞ղ են հասնել դրան, կարդալ և մեջբերել այն, և ինչ փոխել, եթե չեն կարող։
Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում
robots.txt, ռոբոտ առ ռոբոտ
OAI-SearchBot-ը, ChatGPT-User-ը և GPTBot-ը կարդացվում են առանձին RFC 9309-ի կանոններով, ուստի տեսնում եք՝ որն է թույլատրված և որ տողն է որոշում։
Ֆայրվոլի և CDN-ի արգելքներ
Ձեր էջը հարցվում է որպես 14 ռոբոտ և որպես սովորական բրաուզեր։ 403-ը, 429-ը կամ ստուգման էջը, որը ստանում են միայն ռոբոտները, նշվում է, և նրա հետևի ֆայրվոլն անվանվում է։
Ինչ է իրականում ստանում ռոբոտը
Յուրաքանչյուր ռոբոտի համար կարգավիճակը, չափը և վերահասցեավորումները համեմատվում են բրաուզերի ստացածի հետ, ուստի էջը, որը ռոբոտներին տալիս է մարդկանցից քիչ, աչքի է ընկնում։
Լուծում յուրաքանչյուր գտածոյի համար
Յուրաքանչյուր գտածո գալիս է կատարելիք փոփոխությամբ։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։
ChatGPT-ն կարող է մեջբերել ձեր էջը միայն այն դեպքում, եթե OpenAI-ի որոնողական ռոբոտը՝ OAI-SearchBot-ը, կարող է բեռնել այն և ստանում է նույն HTML-ը, ինչ բրաուզերը։ Ստուգեք երեք բան. ձեր robots.txt-ը չի արգելում OAI-SearchBot-ին, ձեր ֆայրվոլը կամ CDN-ը նրան չի պատասխանում 403-ով կամ ստուգման (challenge) էջով, և հիմնական տեքստը սկզբնական HTML-ում է։ Ընթեռնելի լինելը նույնը չէ, ինչ խորհուրդ տրվելը. տեսնելու համար, թե արդյոք ChatGPT-ն նշում է ձեր կայքը, տվեք նրան ձեր գնորդների հարցերը և նշեք, թե որ կայքերն է նա մեջբերում։
Ստուգեք ինքներդ 3 քայլով
- Կարդացեք ձեր robots.txt-ը
Բացեք
https://your-site.com/robots.txt։OAI-SearchBot-ի,ChatGPT-User-ի կամUser-agent: *-ի ոչ մի խումբ չպետք է արգելի էջը։GPTBot-ը կարևոր է միայն ուսուցման համար։ - Փորձարկեք, թե ինչ է ստանում ռոբոտը
Հարցրեք էջը որպես
OAI-SearchBotկամ գործարկեք անվճար ստուգումը։ Այն պետք է պատասխանի 200-ով՝ նույն տեքստով, ինչ բրաուզերը, ոչ թե 403-ով կամ ստուգման էջով։ - Հարցրեք ChatGPT-ին
Միացված որոնմամբ խնդրեք ամփոփել ձեր URL-ը և պատասխանել ձեր գնորդների տված մեկ հարցի, ապա նայեք նրա նշած աղբյուրներին։ Եթե հասանելիությունը նորմալ է, բայց դուք չկաք, պատճառը բովանդակությունն է։
Հաճախ տրվող հարցեր
Կարո՞ղ եմ անվճար ստուգել, թե արդյոք ChatGPT-ն տեսնում է իմ կայքը
Այո։ Ձեր robots.txt-ը կարդալը, curl հարցումը OAI-SearchBot user agent-ով և հարցը ChatGPT-ում ոչինչ չարժեն։ AISeeWhy-ի անվճար ստուգումը ռոբոտների թեստերը գործարկում է մեկ էջի համար օրը մեկ անգամ՝ առանց հաշվի։
Ինչպե՞ս ստուգել, թե արդյոք ChatGPT-ն խորհուրդ է տալիս իմ կայքը
Միացված որոնմամբ ChatGPT-ին տվեք ձեր գնորդների հարցերը և նշեք, թե արդյոք նա նշում կամ հղում է ձեր կայքը, և որ մրցակիցներին է նշում դրա փոխարեն։ Պատասխանները տարբերվում են գործարկումից գործարկում, ուստի կրկնեք յուրաքանչյուր հարց և նորից ստուգեք մի քանի շաբաթվա ընթացքում։ AISeeWhy-ի «Տեսանելիություն AI-ում» ստուգումը ձեր հարցերը գործարկում է ChatGPT-ի, Claude-ի, Perplexity-ի և Gemini-ի միջոցով՝ ձեր սեփական API բանալիներով, և հետևում է նշումներին մինչև չորս մրցակիցների կողքին։ API-ով ստացված պատասխանները կարող են տարբերվել ChatGPT հավելվածում ցուցադրվողից։
Ինչո՞ւ ChatGPT-ն չի գտնում իմ կայքը
Ամենից հաճախ OAI-SearchBot-ը արգելված է robots.txt-ում, ֆայրվոլը նրան պատասխանում է 403-ով կամ ստուգման էջով, կամ տեքստը հայտնվում է միայն JavaScript-ի գործարկումից հետո։ Եթե երեքն էլ կարգին են, հնարավոր է՝ ձեր էջը պարզապես ավելի քիչ ուղղակիորեն է պատասխանում հարցին, քան ChatGPT-ի մեջբերած էջերը։
GPTBot-ին արգելափակելը կհեռացնի՞ իմ կայքը ChatGPT որոնումից
Ոչ։ OpenAI-ը ռոբոտների յուրաքանչյուր կարգավորում համարում է անկախ։ GPTBot-ը կապված է ուսուցման հետ, իսկ OAI-SearchBot-ն է որոշում, թե արդյոք էջերը կարող են ցուցադրվել ChatGPT-ի որոնման պատասխաններում։ Կարող եք արգելել մեկին և թույլատրել մյուսին։
Արդյո՞ք ChatGPT-User-ը հետևում է robots.txt-ին
OpenAI-ն ասում է, որ քանի որ այս այցերը նախաձեռնում է օգտատերը, robots.txt-ի կանոնները կարող են չկիրառվել։ Եթե ցանկանում եք կանգնեցնել այդ այցերը, robots.txt-ի կանոնը հուսալի միջոց չէ։
Որքա՞ն ժամանակ է պետք, որ robots.txt-ի փոփոխությունը հասնի ChatGPT-ին
OpenAI-ն ասում է, որ robots.txt-ի թարմացումից հետո նրա համակարգերի՝ որոնման համար հարմարվելը կարող է տևել մոտ 24 ժամ։
Բավարա՞ր է հասանելի լինելը մեջբերվելու համար
Ոչ։ Հասանելիությունը մեջբերումը հնարավոր է դարձնում, բայց չի երաշխավորում։ Այն, ինչ ասում է էջը, և թե որքան հստակ է ասում, դեռ որոշում է, թե արդյոք այն կօգտագործվի պատասխանում։
Կարդալ ամբողջական ուղեցույցը
Կայքերի շատ սեփականատերեր ChatGPT-ին հարցնում են իրենց արտադրանքի մասին, տեսնում են, որ փոխարենը մեջբերվում է մրցակիցը, և մտածում են, թե արդյոք ChatGPT-ն ընդհանրապես կարող է հասնել իրենց կայքին։ Այս հարցն ունի կոնկրետ, ստուգելի պատասխան։ OpenAI-ը հրապարակում է իր ռոբոտների անունները և թե ինչ է անում յուրաքանչյուրը, ուստի կարող եք ստուգել շղթայի յուրաքանչյուր օղակ. robots.txt-ի կանոնները, ձեր սերվերի ուղարկած պատասխանը և այդ պատասխանի բովանդակությունը։
5 րոպեանոց ստուգում՝ քայլ առ քայլ
- Բացեք
https://your-site.com/robots.txt-ը և համոզվեք, որOAI-SearchBot-ի,ChatGPT-User-ի կամUser-agent: *-ի համար ոչ մի խումբ չի արգելում էջը։GPTBot-ը կարևոր է միայն ուսուցման համար։ - Գործարկեք էջի անվճար ստուգումը AISeeWhy-ում կամ ուղարկեք մեկ հարցում
OAI-SearchBotuser agent-ով. այն պետք է ստանա 200 կարգավիճակ և նույն տեքստը, ինչ ստանում է բրաուզերը, ոչ թե 403 կամ ստուգման էջ։ - Նայեք էջի սկզբնական կոդը և համոզվեք, որ հիմնական տեքստը HTML-ում է, ոչ թե ավելացվում է ավելի ուշ JavaScript-ով։
- Միացված որոնմամբ խնդրեք ChatGPT-ին ամփոփել ձեր URL-ը և պատասխանել մի հարցի, որը տալիս են ձեր գնորդները։ Նայեք, թե ինչ աղբյուրներ է նա թվարկում։
Եթե 1-ին կամ 2-րդ քայլը ձախողվում է, նախ ուղղեք դա. ստորև բաժինները ցույց են տալիս, թե ինչպես։ Եթե բոլոր չորսն անցնում են, և ChatGPT-ն դեռ չի մեջբերում ձեզ, պատճառը բովանդակությունն է, ոչ թե հասանելիությունը։
OpenAI-ի ո՞ր ռոբոտներն են կարևոր ChatGPT-ի պատասխանների համար
OpenAI-ը փաստաթղթավորում է երեք գործակալ, որոնց սովորաբար հանդիպում են կայքերի սեփականատերերը։ Նրանք տարբեր խնդիրներ ունեն, և մեկի արգելափակումը չի արգելափակում մյուսներին։ OpenAI-ն նշում է, որ robots.txt-ի յուրաքանչյուր կարգավորում անկախ է։
OAI-SearchBot-ը գտնում և ինդեքսավորում է էջեր ChatGPT-ի որոնման գործառույթների համար։ OpenAI-ն ասում է, որ դրանից հրաժարված կայքերը չեն ցուցադրվի ChatGPT-ի որոնման պատասխաններում։ Հենց սա է որոշում, թե արդյոք ձեզ կարող են մեջբերել։GPTBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել OpenAI-ի հիմնային մոդելների ուսուցման համար։ Դրան արգելելը նշանակում է, որ ձեր բովանդակությունը չպետք է օգտագործվի ուսուցման համար։ Դա ձեզ չի հեռացնում որոնման պատասխաններից։ChatGPT-User-ը այցելում է էջ, երբ մարդը ChatGPT-ին խնդրում է դա անել, օրինակ՝ հղում տեղադրելով։ OpenAI-ն ասում է, որ robots.txt-ի կանոնները կարող են չկիրառվել օգտատիրոջ նախաձեռնած այս այցերի նկատմամբ, և որ այս գործակալը չի օգտագործվում որոշելու, թե արդյոք բովանդակությունը կհայտնվի որոնման մեջ։
Այսպիսով, կարճ ասած. OAI-SearchBot-ը վերահսկում է մեջբերումները, GPTBot-ը՝ ուսուցումը, իսկ ChatGPT-User-ը կատարում է ուղիղ այցերը օգտատիրոջ խնդրանքով։
Ինչպե՞ս ստուգել իմ robots.txt-ը ChatGPT-ի համար
Բացեք https://yourdomain.com/robots.txt-ը բրաուզերում։ Փնտրեք խումբ, որն անվանում է OAI-SearchBot-ին։ Եթե այդպիսին չկա, ռոբոտը հետևում է User-agent: * խմբին։ Disallow: /-ը կիրառվող խմբում արգելափակում է ամբողջ կայքը։
Ստուգեք նաև, որ ֆայլն ընդհանրապես պատասխանում է։ Ըստ RFC 9309-ի՝ եթե robots.txt-ը վերադարձնում է սերվերի սխալ (5xx) կամ անհասանելի է, ռոբոտը պետք է ամբողջ կայքը համարի արգելված։ 404-ը նորմալ է. դա նշանակում է, որ կանոններ չկան։ robots.txt-ի հասցեն, որը վերադարձնում է HTML էջ 200 կարգավիճակով, տարածված սխալ է, քանի որ ռոբոտներն այդ դեպքում դրանում վավեր կանոններ չեն գտնում։
Կարգավորումը, որը պահպանում է ChatGPT որոնումը և հրաժարվում ուսուցումից, այսպիսին է.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI-ն ասում է, որ robots.txt-ը թարմացնելուց հետո որոնման համար փոփոխությունների ուժի մեջ մտնելը կարող է տևել մոտ 24 ժամ։
Կարո՞ղ է ֆայրվոլն արգելափակել ChatGPT-ին, նույնիսկ երբ robots.txt-ը թույլատրում է
Այո, և դա տարածված պատճառ է։ robots.txt-ը խնդրանք է բարեխիղճ ռոբոտներին, ոչ թե մուտքի վերահսկում։ Ձեր ֆայրվոլը, CDN-ը կամ բոտերից պաշտպանությունն է որոշում, թե իրականում ինչ է հետ ուղարկվում։ Եթե այն AI ռոբոտին համարում է անցանկալի բոտ, ռոբոտը ստանում է 403, 429 կամ ստուգման էջ, օրինակ՝ Cloudflare-ի «Just a moment...» էկրանը, մինչդեռ բրաուզերում մարդիկ էջը տեսնում են սովորական կերպով։
Դրսից սա նման է կայքի, որը բաց է բոլորի համար։ Միայն այն հարցումը, որը ներկայանում է որպես ռոբոտ, ցույց է տալիս տարբերությունը։ Այդ դեպքում robots.txt-ն ասում է այո, սերվերն ասում է ոչ, և հաղթում է սերվերը։
Ինչպե՞ս ստուգել, թե ինչ է ստանում OAI-SearchBot-ը
Ուղարկեք երկու հարցում նույն URL-ին՝ մեկը բրաուզերի user agent-ով, մյուսը՝ ռոբոտի user agent-ով, և համեմատեք կարգավիճակի կոդը և չափը։ OpenAI-ը հրապարակում է user agent-ի օրինակ յուրաքանչյուր ռոբոտի համար. դրա տարբերակի համարը կարող է փոխվել։
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Եթե բրաուզերը ստանում է 200՝ մեծ պատասխանով, իսկ ռոբոտը՝ 403, 429, 503 կամ շատ ավելի փոքր պատասխան, ձեր ֆայրվոլը ռոբոտին այլ կերպ է վերաբերվում։ Կա մեկ սահմանափակում. ձեր թեստը գալիս է ձեր սեփական IP հասցեից, ոչ թե OpenAI-ից։ Ֆայրվոլները, որոնք ռոբոտներին ստուգում են հրապարակված IP տիրույթներով (OpenAI-ը դրանք նշում է openai.com/searchbot.json-ում), կարող են բաց թողնել իրական ռոբոտին և արգելափակել ձեր թեստը։ Այս թեստում արգելափակումը, այնուամենայնիվ, ցույց է տալիս, թե ինչպես է ֆայրվոլը վերաբերվում user agent-ին, և դա արժե ուղղել։
Իսկ եթե էջը բեռնվում է, բայց ChatGPT-ն դեռ օգտակար ոչինչ չի ասում
Հասանելիությունը միայն առաջին քայլն է։ Եթե հասնող HTML-ը դատարկ կմախք է, որը հետո լրացվում է JavaScript-ով, ռոբոտը կարող է գրեթե ոչ մի տեքստ չստանալ։ Նայեք հում HTML-ին curl-ով կամ ձեր բրաուզերի view-source-ով. եթե հիմնական տեքստն այնտեղ չէ, ռոբոտը նույնպես, ամենայն հավանականությամբ, այն չի տեսնում։
Դրանից հետո գալիս են բովանդակության ազդանշանները. հստակ կարճ պատասխան էջի վերևում, ենթավերնագրեր, որոնք համընկնում են մարդկանց տված հարցերի հետ, նշված հրատարակիչ և հեղինակ, տեսանելի ամսաթվեր։ Դրանք մեջբերում չեն երաշխավորում, բայց հեշտացնում են էջի ճիշտ մեջբերումը։
Ինչպե՞ս է AISeeWhy-ն ստուգում սա
AISeeWhy-ն բեռնում է ձեր էջը որպես OAI-SearchBot, GPTBot, ChatGPT-User և 11 այլ ռոբոտներ՝ սովորական բրաուզերի կողքին, կարդում է ձեր robots.txt-ը RFC 9309-ի կանոններով և անվանում է ֆայրվոլը, երբ այն պատասխանում է արգելափակմամբ կամ ստուգմամբ։ Յուրաքանչյուր բացահայտում ունի տեղադրելու պատրաստ ուղղում, իսկ անվճար ստուգումը ցույց է տալիս ձեր գնահատականը և առաջին բացահայտումը։
Այս խնդրի ուղղումները
- OAI-SearchBot ռոբոտն արգելափակված է
- GPTBot ռոբոտը ստանում է փոխարինող էջ
- Էջը հնարավոր չեղավ բեռնել
- Էջը պատասխանում է 403 կարգավիճակով
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Աղբյուրներ
- OpenAI: OpenAI-ի ռոբոտների ակնարկ
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ռոբոտների կառավարում (AI Crawl Control)