Ali ChatGPT vidi moje spletno mesto? Kako to preveriti

Prilepite svojo stran in v približno 30 sekundah preverite, ali jo pajki ChatGPT lahko dosežejo, preberejo in citirajo ter kaj spremeniti, če ne morejo.

Brezplačno · Brez registracije · Rezultat v 30 sekundah

robots.txt, pajek za pajkom

OAI-SearchBot, ChatGPT-User in GPTBot se berejo ločeno po pravilih RFC 9309, tako da vidite, kateri je dovoljen in katera vrstica odloča.

Blokade požarnega zidu in CDN

Vaša stran se zahteva kot 14 pajkov in kot navaden brskalnik. Napaka 403, 429 ali stran z izzivom, ki jo dobijo samo pajki, je označena, požarni zid za njo pa imenovan.

Kaj pajek res prejme

Status, velikost in preusmeritve za vsakega pajka se primerjajo s tem, kar dobi brskalnik, tako da se stran, ki pajkom odgovori z manj kot ljudem, takoj opazi.

Popravek za vsako ugotovitev

Vsaka ugotovitev vsebuje spremembo, ki jo je treba narediti. Brezplačno preverjanje prikaže vašo oceno in prvo ugotovitev; celotno poročilo stane $29, enkratno.

Kratek odgovor

ChatGPT lahko vašo stran citira samo, če jo OpenAI-jev pajek za iskanje, OAI-SearchBot, sme prenesti in dobi isti HTML kot brskalnik. Preverite tri stvari: vaš robots.txt ne prepoveduje OAI-SearchBot, vaš požarni zid ali CDN mu ne odgovori z napako 403 ali s stranjo z izzivom, glavno besedilo pa je v začetnem HTML. Biti berljiv ni isto kot biti priporočen: če želite videti, ali ChatGPT imenuje vaše mesto, mu postavite vprašanja, ki jih postavljajo vaši kupci, in zapišite, katera mesta citira.

Preverite sami v 3 korakih

  1. Preberite svoj robots.txt

    Odprite https://your-site.com/robots.txt. Nobena skupina za OAI-SearchBot, ChatGPT-User ali User-agent: * ne sme prepovedati strani. GPTBot je pomemben samo za učenje.

  2. Preizkusite, kaj dobi pajek

    Zahtevajte stran kot OAI-SearchBot ali zaženite brezplačno preverjanje. Odgovoriti mora z 200 in z istim besedilom kot brskalniku, ne z napako 403 ali stranjo z izzivom.

  3. Vprašajte ChatGPT

    Z vklopljenim iskanjem ga prosite, naj povzame vaš URL in odgovori na vprašanje, ki ga postavljajo vaši kupci, nato si oglejte navedene vire. Če je dostop v redu, vas pa še vedno ni, je vzrok vsebina.

Pogosta vprašanja

Ali lahko brezplačno preverim, ali ChatGPT vidi moje spletno mesto?

Da. Branje robots.txt, zahteva curl z user agentom OAI-SearchBot in vprašanje v ChatGPT ne stanejo nič. Brezplačno preverjanje AISeeWhy izvede preizkuse pajkov za eno stran na dan brez računa.

Kako preverim, ali ChatGPT priporoča moje mesto?

ChatGPT z vklopljenim iskanjem postavite vprašanja, ki jih postavljajo vaši kupci, in zapišite, ali imenuje ali povezuje vaše mesto in katere konkurente imenuje namesto vas. Odgovori se med poskusi razlikujejo, zato vsako vprašanje ponovite in preverjajte več tednov. Preverjanje vidnosti v UI v AISeeWhy vaša vprašanja z vašimi lastnimi ključi API postavi prek ChatGPT, Claude, Perplexity in Gemini ter spremlja omembe ob največ štirih konkurentih. Odgovori prek API-ja se lahko razlikujejo od tega, kar prikaže aplikacija ChatGPT.

Zakaj ChatGPT ne najde mojega mesta?

Najpogosteje je OAI-SearchBot prepovedan v robots.txt, požarni zid mu odgovori z 403 ali stranjo z izzivom ali pa se besedilo pojavi šele po zagonu JavaScripta. Če je vse troje v redu, vaša stran na vprašanje morda preprosto odgovori manj neposredno kot strani, ki jih ChatGPT citira.

Ali blokiranje GPTBot odstrani moje mesto iz iskanja ChatGPT?

Ne. OpenAI vsako nastavitev pajka obravnava neodvisno. GPTBot se nanaša na učenje, OAI-SearchBot pa odloča, ali se strani lahko prikažejo v odgovorih iskanja ChatGPT. Enega lahko prepoveste, drugega pa dovolite.

Ali ChatGPT-User upošteva robots.txt?

OpenAI pravi, da pravila robots.txt morda ne veljajo, ker te obiske sproži uporabnik. Če želite te obiske ustaviti, pravilo v robots.txt ni zanesljiv nadzor.

Koliko časa traja, da sprememba robots.txt doseže ChatGPT?

OpenAI pravi, da lahko od posodobitve robots.txt traja približno 24 ur, da se njegovi sistemi za iskanje prilagodijo.

Ali je dosegljivost dovolj za citat?

Ne. Dostop citat omogoči, ne zagotovi pa ga. Kaj stran pove in kako jasno to pove, še vedno odloča, ali bo uporabljena v odgovoru.

Preberite celoten vodnik

Mnogi lastniki spletnih mest ChatGPT vprašajo o svojem izdelku, namesto njih pa vidijo citiranega konkurenta in se sprašujejo, ali ChatGPT njihovo mesto sploh lahko doseže. Na to vprašanje obstaja konkreten odgovor, ki ga lahko preizkusite. OpenAI objavlja imena svojih pajkov in to, kaj počne vsak od njih, zato lahko preverite vsak člen verige: pravila robots.txt, odgovor, ki ga pošlje vaš strežnik, in vsebino v tem odgovoru.

5-minutno preverjanje, korak za korakom

  1. Odprite https://your-site.com/robots.txt in se prepričajte, da nobena skupina za OAI-SearchBot, ChatGPT-User ali User-agent: * ne prepoveduje strani. GPTBot je pomemben samo za učenje.
  2. Zaženite brezplačno preverjanje strani na AISeeWhy ali pošljite eno zahtevo z user agentom OAI-SearchBot: dobiti mora status 200 in isto besedilo kot brskalnik, ne 403 ali strani z izzivom.
  3. Oglejte si izvorno kodo strani in potrdite, da je glavno besedilo v HTML, ne pa da ga pozneje doda JavaScript.
  4. Prosite ChatGPT z vklopljenim iskanjem, naj povzame vaš URL in odgovori na eno vprašanje, ki ga postavljajo vaši kupci. Oglejte si vire, ki jih navede.

Če 1. ali 2. korak ne uspe, najprej popravite to: razdelki v nadaljevanju pokažejo, kako. Če uspejo vsi štirje in vas ChatGPT še vedno ne navaja, je vzrok vsebina, ne dostop.

Kateri pajki OpenAI so pomembni za odgovore ChatGPT?

OpenAI dokumentira tri agente, s katerimi se lastniki spletnih mest običajno srečajo. Imajo različne naloge in blokiranje enega ne blokira drugih. OpenAI navaja, da je vsaka nastavitev robots.txt neodvisna.

  • OAI-SearchBot najde in indeksira strani za funkcije iskanja ChatGPT. OpenAI pravi, da mesta, ki so ga zavrnila, ne bodo prikazana v odgovorih iskanja ChatGPT. Prav ta odloča, ali ste lahko citirani.
  • GPTBot zbira vsebino, ki se lahko uporabi za učenje OpenAI-jevih temeljnih modelov. Njegova prepoved pove, da se vaša vsebina ne sme uporabljati za učenje. Iz odgovorov iskanja vas ne odstrani.
  • ChatGPT-User obišče stran, ko to od ChatGPT zahteva oseba, na primer s prilepljeno povezavo. OpenAI pravi, da pravila robots.txt za te obiske, ki jih sproži uporabnik, morda ne veljajo in da se ta agent ne uporablja za odločanje, ali se vsebina pojavi v iskanju.

Na kratko torej: OAI-SearchBot nadzoruje citate, GPTBot nadzoruje učenje, ChatGPT-User pa obravnava obiske v živo na zahtevo uporabnika.

Kako preverim svoj robots.txt za ChatGPT?

V brskalniku odprite https://yourdomain.com/robots.txt. Poiščite skupino, ki navaja OAI-SearchBot. Če je ni, pajek sledi skupini User-agent: *. Disallow: / v skupini, ki velja, blokira celotno mesto.

Preverite tudi, ali datoteka sploh odgovori. Po RFC 9309 mora pajek, če robots.txt vrne napako strežnika (5xx) ali ni dosegljiv, privzeti, da je prepovedano celotno mesto. Napaka 404 je v redu: pomeni, da pravil ni. Naslov robots.txt, ki vrne stran HTML s statusom 200, je pogosta napaka, saj pajki v njem ne najdejo veljavnih pravil.

Nastavitev, ki ohrani iskanje ChatGPT in zavrne učenje, je videti tako:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI pravi, da lahko po posodobitvi robots.txt traja približno 24 ur, preden spremembe za iskanje začnejo veljati.

Ali lahko požarni zid blokira ChatGPT, tudi ko ga robots.txt dovoljuje?

Da, in to je pogost vzrok. robots.txt je prošnja dobro vzgojenim pajkom, ne nadzor dostopa. Kaj se dejansko vrne, odloča vaš požarni zid, CDN ali zaščita pred boti. Če pajka UI obravnava kot neželenega bota, pajek dobi napako 403, 429 ali stran z izzivom, kot je Cloudflarov zaslon „Just a moment...“, ljudje v brskalniku pa stran vidijo normalno.

Od zunaj je to videti kot mesto, odprto za vse. Razliko pokaže samo zahteva, ki se predstavi kot pajek. V tem primeru robots.txt reče da, strežnik reče ne, in obvelja strežnik.

Kako preizkusim, kaj dobi OAI-SearchBot?

Na isti URL pošljite dve zahtevi, eno z user agentom brskalnika in eno z user agentom pajka, ter primerjajte statusno kodo in velikost. OpenAI za vsakega pajka objavlja primer user agenta; številka različice v njem se lahko spremeni.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Če brskalnik dobi 200 z veliko vsebino, pajek pa 403, 429, 503 ali precej manjšo vsebino, vaš požarni zid pajka obravnava drugače. Velja ena omejitev: vaš preizkus prihaja z vašega naslova IP, ne z OpenAI-jevega. Požarni zidovi, ki pajke preverjajo po objavljenih obsegih IP (OpenAI jih navaja na openai.com/searchbot.json), lahko pravega pajka spustijo skozi, vaš preizkus pa blokirajo. Blokada v tem preizkusu vam vseeno pove, kako požarni zid obravnava user agent, in to je vredno popraviti.

Kaj, če se stran naloži, ChatGPT pa še vedno ne pove nič uporabnega?

Dostop je šele prvi korak. Če je HTML, ki prispe, prazna lupina, ki jo pozneje napolni JavaScript, pajek morda dobi skoraj nič besedila. Neobdelani HTML si oglejte s curl ali s prikazom izvorne kode v brskalniku: če glavnega besedila tam ni, ga pajek najverjetneje tudi ne vidi.

Nato pridejo na vrsto signali vsebine: jasen kratek odgovor na vrhu strani, naslovi, ki se ujemajo z vprašanji, ki jih ljudje postavljajo, imenovan izdajatelj in avtor ter vidni datumi. Ti citata ne zagotavljajo, vendar olajšajo pravilno citiranje strani.

Kako to preveri AISeeWhy?

AISeeWhy vašo stran prenese kot OAI-SearchBot, GPTBot, ChatGPT-User in 11 drugih pajkov poleg običajnega brskalnika, vaš robots.txt prebere po pravilih RFC 9309 in imenuje požarni zid, ko ta odgovori z blokado ali izzivom. Vsaka ugotovitev ima popravek, pripravljen za lepljenje, brezplačno preverjanje pa pokaže vašo oceno in prvo ugotovitev.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Viri

Več člankov

Objavljeno · Posodobljeno