Nakikita ba ng ChatGPT ang website ko? Paano ito suriin

I-paste ang pahina mo at tingnan sa loob ng mga 30 segundo kung maaabot, mababasa at masisipi ito ng mga crawler ng ChatGPT, at kung ano ang babaguhin kung hindi.

Libre · Walang sign-up · Resulta sa loob ng 30 segundo

robots.txt, bawat crawler

Magkakahiwalay na binabasa ang OAI-SearchBot, ChatGPT-User at GPTBot ayon sa mga patakaran ng RFC 9309, kaya makikita mo kung alin ang pinapayagan at aling linya ang nagpapasya.

Mga block ng firewall at CDN

Kinukuha ang pahina mo bilang 14 na crawler at bilang karaniwang browser. Minamarkahan ang 403, 429 o challenge page na crawler lang ang nakakakuha, at pinapangalanan ang firewall sa likod nito.

Ang talagang natatanggap ng crawler

Inihahambing ang status, laki at redirect ng bawat crawler sa nakukuha ng browser, kaya lumilitaw ang pahinang mas kaunti ang ibinibigay sa crawler kaysa sa tao.

May ayos para sa bawat natuklasan

Bawat natuklasan ay may kasamang pagbabagong dapat gawin. Ipinapakita ng libreng check ang score mo at ang unang natuklasan; ang buong ulat ay $29, minsanan lang.

Maikling sagot

Masisipi lang ng ChatGPT ang pahina mo kung pinapayagang kunin ito ng search crawler ng OpenAI, ang OAI-SearchBot, at nakukuha nito ang parehong HTML na nakukuha ng browser. Tatlong bagay ang suriin: hindi dini-disallow ng robots.txt mo ang OAI-SearchBot, hindi ito sinasagot ng firewall o CDN mo ng 403 o challenge page, at nasa unang HTML ang pangunahing text. Hindi pareho ang nababasa at ang inirerekomenda: para makita kung pinapangalanan ng ChatGPT ang site mo, itanong dito ang mga tanong ng mga buyer mo at itala kung aling mga site ang sinisipi nito.

Suriin ito nang mag-isa sa 3 hakbang

  1. Basahin ang robots.txt mo

    Buksan ang https://your-site.com/robots.txt. Walang grupo para sa OAI-SearchBot, ChatGPT-User o User-agent: * ang dapat mag-disallow sa pahina. Sa training lang mahalaga ang GPTBot.

  2. Subukan ang nakukuha ng crawler

    I-request ang pahina bilang OAI-SearchBot, o patakbuhin ang libreng check. Dapat itong sumagot ng 200 na may parehong text na nakukuha ng browser, hindi 403 o challenge page.

  3. Itanong sa ChatGPT

    Habang naka-on ang search, hilingin ditong ibuod ang URL mo at sagutin ang isang tanong ng mga buyer mo, saka tingnan ang mga source na inilista nito. Kung maayos ang access at wala ka pa rin, ang nilalaman ang sanhi.

Mga madalas itanong

Maaari ko bang suriin nang libre kung nakikita ng ChatGPT ang site ko?

Oo. Walang bayad ang pagbasa sa robots.txt mo, ang curl request gamit ang user agent na OAI-SearchBot at ang isang tanong sa ChatGPT. Pinapatakbo ng libreng pagsusuri ng AISeeWhy ang mga crawler test para sa isang pahina bawat araw nang walang account.

Paano ko malalaman kung inirerekomenda ng ChatGPT ang site ko?

Itanong sa ChatGPT, nang naka-on ang search, ang mga tanong ng mga buyer mo, at itala kung pinapangalanan o nili-link nito ang site mo at aling mga kakumpitensya ang pinapangalanan nito sa halip. Nag-iiba ang mga sagot sa bawat run, kaya ulitin ang bawat tanong at suriin muli sa loob ng ilang linggo. Pinapatakbo ng AI visibility check ng AISeeWhy ang mga tanong mo sa ChatGPT, Claude, Perplexity at Gemini gamit ang sarili mong mga API key at sinusubaybayan ang mga mention katabi ng hanggang apat na kakumpitensya. Puwedeng iba ang mga sagot sa API kaysa sa ipinapakita ng ChatGPT app.

Bakit hindi mahanap ng ChatGPT ang site ko?

Kadalasan, naka-disallow ang OAI-SearchBot sa robots.txt, sinasagot ito ng firewall ng 403 o challenge page, o lumalabas lang ang text matapos tumakbo ang JavaScript. Kung maayos ang tatlo, maaaring hindi lang kasing-direkta ng mga pahinang sinisipi ng ChatGPT ang pagsagot ng pahina mo sa tanong.

Inaalis ba ng pag-block sa GPTBot ang site ko sa ChatGPT search?

Hindi. Itinuturing ng OpenAI na independiyente ang bawat crawler setting. May kinalaman sa training ang GPTBot, habang ang OAI-SearchBot ang nagpapasya kung maipapakita ang mga pahina sa mga sagot ng ChatGPT search. Puwede mong i-disallow ang isa at payagan ang isa pa.

Sinusunod ba ng ChatGPT-User ang robots.txt?

Sinasabi ng OpenAI na dahil user ang nagsisimula ng mga pagbisitang ito, maaaring hindi nalalapat ang mga rule sa robots.txt. Kung gusto mong pigilan ang mga pagbisitang iyon, hindi maaasahang kontrol ang rule sa robots.txt.

Gaano katagal bago umabot sa ChatGPT ang pagbabago sa robots.txt?

Sinasabi ng OpenAI na maaaring umabot nang mga 24 oras mula sa pag-update ng robots.txt bago mag-adjust ang mga system nito para sa search.

Sapat na ba ang pagiging naaabot para masipi?

Hindi. Ginagawang posible ng access ang pagsipi; hindi nito ito ginagarantiya. Ang sinasabi ng pahina, at kung gaano kalinaw nito sinasabi, ang nagpapasya pa rin kung gagamitin ito sa isang sagot.

Basahin ang buong gabay

Maraming may-ari ng site ang nagtatanong sa ChatGPT tungkol sa sarili nilang produkto, nakikitang kakumpitensya ang sinipi, at nagtataka kung naaabot man lang ng ChatGPT ang site nila. May konkretong sagot ang tanong na ito na masusubukan. Inilalathala ng OpenAI ang mga pangalan ng mga crawler nito at ang ginagawa ng bawat isa, kaya masusuri mo ang bawat bahagi ng kadena: ang mga rule sa robots.txt, ang sagot na ipinapadala ng server mo, at ang content sa sagot na iyon.

Ang 5-minutong check, hakbang-hakbang

  1. Buksan ang https://your-site.com/robots.txt at tiyaking walang grupo para sa OAI-SearchBot, ChatGPT-User o User-agent: * na nagdi-disallow sa pahina. Para sa training lang mahalaga ang GPTBot.
  2. Magpatakbo ng libreng pagsusuri ng pahina sa AISeeWhy o magpadala ng isang request gamit ang user agent na OAI-SearchBot: dapat itong makakuha ng status 200 at ng parehong text na nakukuha ng browser, hindi 403 o challenge page.
  3. Tingnan ang source ng pahina at kumpirmahing nasa HTML ang pangunahing text, hindi idinadagdag pagkatapos ng JavaScript.
  4. Hilingin sa ChatGPT, nang naka-on ang search, na ibuod ang URL mo at sagutin ang isang tanong ng mga buyer mo. Tingnan ang mga pinagmulang inililista nito.

Kung pumalya ang hakbang 1 o 2, iyon muna ang ayusin: ipinapakita ng mga seksyon sa ibaba kung paano. Kung pumasa ang apat at hindi ka pa rin sinisipi ng ChatGPT, ang content ang dahilan, hindi ang access.

Aling mga crawler ng OpenAI ang mahalaga para sa mga sagot ng ChatGPT?

Tatlong agent ang inilalarawan ng OpenAI na karaniwang nakakasalamuha ng mga may-ari ng site. Magkakaiba ang trabaho nila, at hindi bina-block ng pag-block sa isa ang iba. Sinasabi ng OpenAI na independiyente ang bawat robots.txt setting.

  • Hinahanap at ini-index ng OAI-SearchBot ang mga pahina para sa mga search feature ng ChatGPT. Sinasabi ng OpenAI na hindi ipapakita sa mga sagot ng ChatGPT search ang mga site na nag-opt out dito. Ito ang nagpapasya kung masisipi ka.
  • Nangongolekta ang GPTBot ng content na maaaring gamitin sa pag-train ng mga foundation model ng OpenAI. Ang pag-disallow dito ay nagsasabing hindi dapat gamitin ang content mo para sa training. Hindi ka nito inaalis sa mga sagot ng search.
  • Bumibisita ang ChatGPT-User sa isang pahina kapag hiniling ito ng isang tao sa ChatGPT, halimbawa sa pag-paste ng link. Sinasabi ng OpenAI na maaaring hindi nalalapat ang mga rule sa robots.txt sa mga pagbisitang ito na sinimulan ng user, at na hindi ginagamit ang agent na ito para magpasya kung lalabas ang content sa search.

Kaya sa madaling salita: kinokontrol ng OAI-SearchBot ang mga pagsipi, kinokontrol ng GPTBot ang training, at hinahawakan ng ChatGPT-User ang mga live na pagbisita sa kahilingan ng user.

Paano ko susuriin ang robots.txt ko para sa ChatGPT?

Buksan ang https://yourdomain.com/robots.txt sa browser. Hanapin ang grupong nagbabanggit sa OAI-SearchBot. Kung wala, susundin ng crawler ang grupong User-agent: *. Bina-block ng Disallow: / sa alinmang grupong naaangkop ang buong site.

Tiyakin din na sumasagot man lang ang file. Ayon sa RFC 9309, kung server error (5xx) ang ibinabalik ng robots.txt o hindi ito maabot, dapat ituring ng crawler na hindi pinapayagan ang buong site. Ayos lang ang 404: ibig sabihin ay walang rule. Karaniwang pagkakamali ang robots.txt address na nagbabalik ng HTML page na may status 200, dahil wala nang mahahanap na valid na rule ang mga crawler doon.

Ganito ang hitsura ng setup na nagpapanatili sa ChatGPT search at nag-o-opt out sa training:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sinasabi ng OpenAI na maaaring umabot nang mga 24 oras bago magkabisa ang mga pagbabago para sa search matapos mong i-update ang robots.txt.

Puwede bang i-block ng firewall ang ChatGPT kahit pinapayagan ito ng robots.txt?

Oo, at karaniwang dahilan ito. Ang robots.txt ay kahilingan sa mga maayos na crawler, hindi access control. Ang firewall, CDN o bot protection mo ang nagpapasya kung ano talaga ang ibinabalik. Kung itinuturing nito ang AI crawler bilang hindi gustong bot, 403, 429 o challenge page ang nakukuha ng crawler, gaya ng screen na "Just a moment..." ng Cloudflare, habang normal na nakikita ng mga tao ang pahina sa browser.

Mula sa labas, mukha itong site na bukas sa lahat. Tanging ang request na nagpapakilala bilang crawler ang nagpapakita ng pagkakaiba. Sa ganitong kaso, oo ang sabi ng robots.txt, hindi ang sabi ng server, at ang server ang nananaig.

Paano ko masusubukan kung ano ang nakukuha ng OAI-SearchBot?

Magpadala ng dalawang request sa parehong URL, isa gamit ang user agent ng browser at isa gamit ang user agent ng crawler, at ihambing ang status code at laki. Naglalathala ang OpenAI ng halimbawang user agent para sa bawat crawler; maaaring magbago ang version number dito.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Kung 200 na may malaking body ang nakukuha ng browser at 403, 429, 503 o mas maliit nang husto na body ang nakukuha ng crawler, iba ang pagtrato ng firewall mo sa crawler. May isang limitasyon: galing ang test mo sa sarili mong IP address, hindi sa IP ng OpenAI. Ang mga firewall na nagbeberipika ng crawler laban sa mga inilathalang IP range (inililista ng OpenAI ang mga ito sa openai.com/searchbot.json) ay maaaring magpapasok sa totoong crawler habang bina-block ang test mo. Ipinapakita pa rin ng block sa test na ito kung paano tinatrato ng firewall ang user agent, at sulit itong ayusin.

Paano kung naglo-load ang pahina pero wala pa ring kapaki-pakinabang na sinasabi ang ChatGPT?

Unang hakbang lang ang access. Kung walang lamang shell ang dumarating na HTML na pinupunan lang mamaya ng JavaScript, maaaring halos walang text na makuha ang crawler. Tingnan ang raw HTML gamit ang curl o ang view-source ng browser mo: kung wala roon ang pangunahing text, malamang hindi rin ito nakikita ng crawler.

Pagkatapos nito ay ang mga senyales ng content: isang malinaw at maikling sagot malapit sa itaas ng pahina, mga heading na tugma sa mga tanong ng mga tao, isang pinangalanang publisher at may-akda, at mga nakikitang petsa. Hindi nito ginagarantiya ang pagsipi, pero pinapadali nito na masipi nang tama ang pahina.

Paano ito sinusuri ng AISeeWhy?

Kinukuha ng AISeeWhy ang pahina mo bilang OAI-SearchBot, GPTBot, ChatGPT-User at 11 iba pang crawler katabi ng karaniwang browser, binabasa ang robots.txt mo ayon sa mga rule ng RFC 9309 at pinapangalanan ang firewall kapag sumagot ito ng block o challenge. May kasamang ayos na ipa-paste ang bawat natuklasan, at ipinapakita ng libreng pagsusuri ang score mo at ang unang natuklasan.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga pinagmulan

Iba pang artikulo

Inilathala · In-update