Je, ChatGPT inaweza kuona tovuti yangu? Jinsi ya kukagua
Bandika ukurasa wako uone ndani ya sekunde 30 hivi kama crawler za ChatGPT zinaweza kuufikia, kuusoma na kuunukuu, na cha kubadilisha kama haziwezi.
Bure · Bila kujisajili · Matokeo kwa sekunde 30
robots.txt, crawler kwa crawler
OAI-SearchBot, ChatGPT-User na GPTBot husomwa kando kwa kanuni za RFC 9309, hivyo unaona ni ipi inaruhusiwa na mstari upi unaoamua.
Vizuizi vya firewall na CDN
Ukurasa wako huombwa kama crawler 14 na kama kivinjari cha kawaida. 403, 429 au ukurasa wa changamoto unaopokelewa na crawler pekee huwekewa alama, na firewall iliyo nyuma yake hutajwa jina.
Crawler inapokea nini hasa
Hali, ukubwa na uelekezaji upya kwa kila crawler hulinganishwa na kile kivinjari kinapata, hivyo ukurasa unaoipa crawler kidogo kuliko unachowapa watu hujitokeza wazi.
Suluhisho kwa kila tatizo
Kila tatizo linakuja na mabadiliko ya kufanya. Ukaguzi wa bure unaonyesha alama yako na tatizo la kwanza; ripoti kamili ni $29, mara moja tu.
ChatGPT inaweza kunukuu ukurasa wako tu ikiwa crawler ya utafutaji ya OpenAI, OAI-SearchBot, inaruhusiwa kuupakua na inapata HTML ileile ambayo kivinjari kinapata. Kagua mambo matatu: robots.txt yako haizuii OAI-SearchBot, firewall au CDN yako haiijibu kwa 403 au ukurasa wa changamoto, na maandishi makuu yako kwenye HTML ya awali. Kusomeka si sawa na kupendekezwa: ili kuona kama ChatGPT inataja tovuti yako, iulize maswali ambayo wanunuzi wako huuliza na uandike tovuti zipi inanukuu.
Kagua mwenyewe kwa hatua 3
- Soma robots.txt yako
Fungua
https://your-site.com/robots.txt. Hakuna kundi laOAI-SearchBot,ChatGPT-UserauUser-agent: *linalopaswa kuzuia ukurasa.GPTBotni muhimu kwa mafunzo tu. - Jaribu crawler inapata nini
Omba ukurasa kama
OAI-SearchBot, au endesha ukaguzi wa bure. Lazima ujibu 200 ukiwa na maandishi yaleyale ambayo kivinjari kinapata, si 403 wala ukurasa wa changamoto. - Uliza ChatGPT
Ukiwa umewasha utafutaji, iombe ifupishe URL yako na ijibu swali moja wanalouliza wanunuzi wako, kisha angalia vyanzo inavyoorodhesha. Kama ufikiaji ni mzuri na bado hutajwi, tatizo ni maudhui.
Maswali yanayoulizwa mara kwa mara
Je, naweza kukagua bure kama ChatGPT inaweza kuona tovuti yangu?
Ndiyo. Kusoma robots.txt yako, ombi la curl kwa user agent ya OAI-SearchBot na swali kwenye ChatGPT havigharimu chochote. Ukaguzi wa bure wa AISeeWhy unafanya majaribio ya crawler kwa ukurasa mmoja kwa siku bila akaunti.
Nitakaguaje kama ChatGPT inapendekeza tovuti yangu?
Uliza ChatGPT, utafutaji ukiwa umewashwa, maswali ambayo wanunuzi wako huuliza, na uandike kama inataja au kuunganisha tovuti yako na washindani gani inawataja badala yake. Majibu hutofautiana kati ya majaribio, kwa hivyo rudia kila swali na ukague tena kwa wiki kadhaa. Ukaguzi wa Mwonekano kwenye AI wa AISeeWhy unaendesha maswali yako kupitia ChatGPT, Claude, Perplexity na Gemini kwa funguo zako za API na unafuatilia kutajwa kando ya hadi washindani wanne. Majibu kupitia API yanaweza kutofautiana na kile programu ya ChatGPT inaonyesha.
Kwa nini ChatGPT haipati tovuti yangu?
Mara nyingi OAI-SearchBot imezuiwa katika robots.txt, firewall inaijibu kwa 403 au ukurasa wa changamoto, au maandishi yanaonekana tu baada ya JavaScript kuendeshwa. Kama yote matatu yako sawa, huenda ukurasa wako unajibu swali kwa njia isiyo ya moja kwa moja kuliko kurasa ambazo ChatGPT inanukuu.
Je, kuzuia GPTBot kunaondoa tovuti yangu kwenye utafutaji wa ChatGPT?
Hapana. OpenAI huchukulia kila mpangilio wa crawler kuwa unajitegemea. GPTBot inahusu mafunzo, huku OAI-SearchBot ikiamua kama kurasa zinaweza kuonyeshwa katika majibu ya utafutaji ya ChatGPT. Unaweza kuzuia moja na kuruhusu nyingine.
Je, ChatGPT-User hufuata robots.txt?
OpenAI inasema kwa kuwa ziara hizi huanzishwa na mtumiaji, huenda sheria za robots.txt zisihusike. Ukitaka kusimamisha ziara hizo, sheria ya robots.txt si udhibiti wa kuaminika.
Inachukua muda gani hadi badiliko la robots.txt lifike ChatGPT?
OpenAI inasema inaweza kuchukua takriban saa 24 tangu robots.txt isasishwe kwa mifumo yake kujirekebisha kwa ajili ya utafutaji.
Je, kufikiwa kunatosha ili kunukuliwa?
Hapana. Ufikiaji hufanya unukuzi uwezekane; haulihakikishi. Kile ukurasa unasema, na jinsi unavyokisema kwa uwazi, bado ndicho huamua kama utatumika katika jibu.
Soma mwongozo kamili
Wamiliki wengi wa tovuti huiuliza ChatGPT kuhusu bidhaa yao wenyewe, huona mshindani akinukuliwa badala yake, na hujiuliza kama ChatGPT inaweza kufikia tovuti yao kabisa. Swali hili lina jibu halisi linaloweza kujaribiwa. OpenAI huchapisha majina ya crawler zake na kile kila moja inafanya, kwa hivyo unaweza kukagua kila kiungo cha mnyororo: sheria za robots.txt, jibu ambalo seva yako inatuma, na maudhui yaliyo katika jibu hilo.
Ukaguzi wa dakika 5, hatua kwa hatua
- Fungua
https://your-site.com/robots.txtna uhakikishe kwamba hakuna kundi laOAI-SearchBot,ChatGPT-UserauUser-agent: *linalokataza ukurasa.GPTBotni muhimu kwa mafunzo pekee. - Fanya ukaguzi wa bure wa ukurasa kwenye AISeeWhy au tuma ombi moja kwa user agent ya
OAI-SearchBot: lazima lipate hali 200 na maandishi yale yale ambayo kivinjari kinapata, si 403 wala ukurasa wa changamoto. - Angalia chanzo cha ukurasa na uthibitishe kwamba maandishi makuu yako kwenye HTML, hayaongezwi baadaye na JavaScript.
- Iombe ChatGPT, utafutaji ukiwa umewashwa, itoe muhtasari wa URL yako na ijibu swali moja ambalo wanunuzi wako huuliza. Angalia vyanzo inavyoorodhesha.
Ikiwa hatua ya 1 au 2 itashindwa, rekebisha hiyo kwanza: sehemu zilizo hapa chini zinaonyesha jinsi. Ikiwa zote nne zinafaulu na ChatGPT bado haikunukuu, chanzo ni maudhui, si ufikiaji.
Crawler zipi za OpenAI ni muhimu kwa majibu ya ChatGPT?
OpenAI inaeleza mawakala watatu ambao wamiliki wa tovuti kwa kawaida hukutana nao. Wana kazi tofauti, na kumzuia mmoja hakuwazuii wengine. OpenAI inasema kila mpangilio wa robots.txt unajitegemea.
OAI-SearchBothupata na kuorodhesha kurasa kwa ajili ya vipengele vya utafutaji vya ChatGPT. OpenAI inasema tovuti zilizojiondoa kwake hazitaonyeshwa katika majibu ya utafutaji ya ChatGPT. Hii ndiyo inayoamua kama unaweza kunukuliwa.GPTBothukusanya maudhui ambayo yanaweza kutumika kufunza miundo ya msingi ya OpenAI. Kuizuia kunaeleza kwamba maudhui yako hayapaswi kutumika kwa mafunzo. Hakukuondoi kwenye majibu ya utafutaji.ChatGPT-Userhutembelea ukurasa mtu anapoiomba ChatGPT kufanya hivyo, kwa mfano kwa kubandika kiungo. OpenAI inasema huenda sheria za robots.txt zisihusu ziara hizi zinazoanzishwa na watumiaji, na kwamba wakala huyu hatumiki kuamua kama maudhui yanaonekana katika utafutaji.
Kwa ufupi: OAI-SearchBot hudhibiti unukuzi, GPTBot hudhibiti mafunzo, na ChatGPT-User hushughulikia ziara za moja kwa moja kwa ombi la mtumiaji.
Ninakaguaje robots.txt yangu kwa ChatGPT?
Fungua https://yourdomain.com/robots.txt kwenye kivinjari. Tafuta kundi linalotaja OAI-SearchBot. Kama halipo, crawler hufuata kundi la User-agent: *. Disallow: / katika kundi lolote linalohusika huzuia tovuti nzima.
Pia hakikisha kwamba faili linajibu kabisa. Kwa mujibu wa RFC 9309, robots.txt ikirudisha hitilafu ya seva (5xx) au ikishindwa kufikiwa, crawler lazima ichukulie kwamba tovuti nzima imezuiwa. 404 ni sawa: inamaanisha hakuna sheria. Anwani ya robots.txt inayorudisha ukurasa wa HTML wenye hali 200 ni kosa la kawaida, kwa sababu crawler hazipati humo sheria halali.
Mpangilio unaobaki kwenye utafutaji wa ChatGPT na kujiondoa kwenye mafunzo unaonekana hivi:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI inasema mabadiliko ya utafutaji yanaweza kuchukua takriban saa 24 kuanza kufanya kazi baada ya kusasisha robots.txt.
Je, firewall inaweza kuzuia ChatGPT hata robots.txt ikiiruhusu?
Ndiyo, na ni sababu ya kawaida. robots.txt ni ombi kwa crawler zenye nidhamu, si udhibiti wa ufikiaji. Firewall, CDN au ulinzi wako dhidi ya bot ndio huamua kile kinachorudishwa kweli. Ikiichukulia crawler ya AI kama bot isiyotakiwa, crawler hupata 403, 429 au ukurasa wa changamoto kama skrini ya "Just a moment..." ya Cloudflare, huku watu kwenye kivinjari wakiona ukurasa kawaida.
Kwa nje hii inaonekana kama tovuti iliyo wazi kwa kila mtu. Ni ombi linalojitambulisha kama crawler pekee linaloonyesha tofauti. Katika hali hiyo robots.txt inasema ndiyo, seva inasema hapana, na seva inashinda.
Ninawezaje kujaribu kile OAI-SearchBot inapata?
Tuma maombi mawili kwa URL ileile, moja kwa user agent ya kivinjari na jingine kwa user agent ya crawler, na ulinganishe msimbo wa hali na ukubwa. OpenAI huchapisha mfano wa user agent kwa kila crawler; namba ya toleo ndani yake inaweza kubadilika.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Kama kivinjari kinapata 200 yenye maudhui makubwa na crawler inapata 403, 429, 503 au maudhui madogo sana, firewall yako inaishughulikia crawler tofauti. Kuna kikomo kimoja: jaribio lako linatoka kwenye anwani yako ya IP, si ya OpenAI. Firewall zinazothibitisha crawler dhidi ya masafa ya IP yaliyochapishwa (OpenAI inaziorodhesha kwenye openai.com/searchbot.json) zinaweza kuiruhusu crawler halisi huku zikizuia jaribio lako. Kizuizi katika jaribio hili bado kinakueleza jinsi firewall inavyoshughulikia user agent, jambo linalofaa kurekebishwa.
Itakuwaje kama ukurasa unapakia lakini ChatGPT bado haisemi chochote cha maana?
Ufikiaji ni hatua ya kwanza tu. Kama HTML inayofika ni ganda tupu linalojazwa baadaye na JavaScript, crawler inaweza kupokea karibu hakuna maandishi. Angalia HTML ghafi kwa curl au view-source ya kivinjari chako: kama maandishi makuu hayapo, huenda crawler pia haiyaoni.
Baada ya hapo zinakuja ishara za maudhui: jibu fupi lililo wazi karibu na juu ya ukurasa, vichwa vinavyolingana na maswali ambayo watu huuliza, mchapishaji na mwandishi waliotajwa, na tarehe zinazoonekana. Haya hayahakikishi unukuzi, lakini hufanya ukurasa uwe rahisi kunukuliwa kwa usahihi.
AISeeWhy hukagua hili vipi?
AISeeWhy hupakua ukurasa wako kama OAI-SearchBot, GPTBot, ChatGPT-User na crawler nyingine 11 sambamba na kivinjari cha kawaida, husoma robots.txt yako kwa sheria za RFC 9309 na hutaja firewall inapojibu kwa kizuizi au changamoto. Kila dosari inakuja na rekebisho la kubandika, na ukaguzi wa bure unaonyesha alama yako na dosari ya kwanza.
Marekebisho ya tatizo hili
- OAI-SearchBot imezuiwa
- GPTBot inapata ukurasa bandia
- Ukurasa haukuweza kupakuliwa
- Ukurasa unajibu kwa hali 403
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Vyanzo
- OpenAI: Muhtasari wa crawler za OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Kudhibiti crawler za AI (AI Crawl Control)