Ali ChatGPT vidi moje spletno mesto? Kako to preveriti
Prilepite svojo stran in v približno 30 sekundah preverite, ali jo pajki ChatGPT lahko dosežejo, preberejo in citirajo ter kaj spremeniti, če ne morejo.
Brezplačno · Brez registracije · Rezultat v 30 sekundah
robots.txt, pajek za pajkom
OAI-SearchBot, ChatGPT-User in GPTBot se berejo ločeno po pravilih RFC 9309, tako da vidite, kateri je dovoljen in katera vrstica odloča.
Blokade požarnega zidu in CDN
Vaša stran se zahteva kot 14 pajkov in kot navaden brskalnik. Napaka 403, 429 ali stran z izzivom, ki jo dobijo samo pajki, je označena, požarni zid za njo pa imenovan.
Kaj pajek res prejme
Status, velikost in preusmeritve za vsakega pajka se primerjajo s tem, kar dobi brskalnik, tako da se stran, ki pajkom odgovori z manj kot ljudem, takoj opazi.
Popravek za vsako ugotovitev
Vsaka ugotovitev vsebuje spremembo, ki jo je treba narediti. Brezplačno preverjanje prikaže vašo oceno in prvo ugotovitev; celotno poročilo stane $29, enkratno.
ChatGPT lahko vašo stran citira samo, če jo OpenAI-jev pajek za iskanje, OAI-SearchBot, sme prenesti in dobi isti HTML kot brskalnik. Preverite tri stvari: vaš robots.txt ne prepoveduje OAI-SearchBot, vaš požarni zid ali CDN mu ne odgovori z napako 403 ali s stranjo z izzivom, glavno besedilo pa je v začetnem HTML. Biti berljiv ni isto kot biti priporočen: če želite videti, ali ChatGPT imenuje vaše mesto, mu postavite vprašanja, ki jih postavljajo vaši kupci, in zapišite, katera mesta citira.
Preverite sami v 3 korakih
- Preberite svoj robots.txt
Odprite
https://your-site.com/robots.txt. Nobena skupina zaOAI-SearchBot,ChatGPT-UseraliUser-agent: *ne sme prepovedati strani.GPTBotje pomemben samo za učenje. - Preizkusite, kaj dobi pajek
Zahtevajte stran kot
OAI-SearchBotali zaženite brezplačno preverjanje. Odgovoriti mora z 200 in z istim besedilom kot brskalniku, ne z napako 403 ali stranjo z izzivom. - Vprašajte ChatGPT
Z vklopljenim iskanjem ga prosite, naj povzame vaš URL in odgovori na vprašanje, ki ga postavljajo vaši kupci, nato si oglejte navedene vire. Če je dostop v redu, vas pa še vedno ni, je vzrok vsebina.
Pogosta vprašanja
Ali lahko brezplačno preverim, ali ChatGPT vidi moje spletno mesto?
Da. Branje robots.txt, zahteva curl z user agentom OAI-SearchBot in vprašanje v ChatGPT ne stanejo nič. Brezplačno preverjanje AISeeWhy izvede preizkuse pajkov za eno stran na dan brez računa.
Kako preverim, ali ChatGPT priporoča moje mesto?
ChatGPT z vklopljenim iskanjem postavite vprašanja, ki jih postavljajo vaši kupci, in zapišite, ali imenuje ali povezuje vaše mesto in katere konkurente imenuje namesto vas. Odgovori se med poskusi razlikujejo, zato vsako vprašanje ponovite in preverjajte več tednov. Preverjanje vidnosti v UI v AISeeWhy vaša vprašanja z vašimi lastnimi ključi API postavi prek ChatGPT, Claude, Perplexity in Gemini ter spremlja omembe ob največ štirih konkurentih. Odgovori prek API-ja se lahko razlikujejo od tega, kar prikaže aplikacija ChatGPT.
Zakaj ChatGPT ne najde mojega mesta?
Najpogosteje je OAI-SearchBot prepovedan v robots.txt, požarni zid mu odgovori z 403 ali stranjo z izzivom ali pa se besedilo pojavi šele po zagonu JavaScripta. Če je vse troje v redu, vaša stran na vprašanje morda preprosto odgovori manj neposredno kot strani, ki jih ChatGPT citira.
Ali blokiranje GPTBot odstrani moje mesto iz iskanja ChatGPT?
Ne. OpenAI vsako nastavitev pajka obravnava neodvisno. GPTBot se nanaša na učenje, OAI-SearchBot pa odloča, ali se strani lahko prikažejo v odgovorih iskanja ChatGPT. Enega lahko prepoveste, drugega pa dovolite.
Ali ChatGPT-User upošteva robots.txt?
OpenAI pravi, da pravila robots.txt morda ne veljajo, ker te obiske sproži uporabnik. Če želite te obiske ustaviti, pravilo v robots.txt ni zanesljiv nadzor.
Koliko časa traja, da sprememba robots.txt doseže ChatGPT?
OpenAI pravi, da lahko od posodobitve robots.txt traja približno 24 ur, da se njegovi sistemi za iskanje prilagodijo.
Ali je dosegljivost dovolj za citat?
Ne. Dostop citat omogoči, ne zagotovi pa ga. Kaj stran pove in kako jasno to pove, še vedno odloča, ali bo uporabljena v odgovoru.
Preberite celoten vodnik
Mnogi lastniki spletnih mest ChatGPT vprašajo o svojem izdelku, namesto njih pa vidijo citiranega konkurenta in se sprašujejo, ali ChatGPT njihovo mesto sploh lahko doseže. Na to vprašanje obstaja konkreten odgovor, ki ga lahko preizkusite. OpenAI objavlja imena svojih pajkov in to, kaj počne vsak od njih, zato lahko preverite vsak člen verige: pravila robots.txt, odgovor, ki ga pošlje vaš strežnik, in vsebino v tem odgovoru.
5-minutno preverjanje, korak za korakom
- Odprite
https://your-site.com/robots.txtin se prepričajte, da nobena skupina zaOAI-SearchBot,ChatGPT-UseraliUser-agent: *ne prepoveduje strani.GPTBotje pomemben samo za učenje. - Zaženite brezplačno preverjanje strani na AISeeWhy ali pošljite eno zahtevo z user agentom
OAI-SearchBot: dobiti mora status 200 in isto besedilo kot brskalnik, ne 403 ali strani z izzivom. - Oglejte si izvorno kodo strani in potrdite, da je glavno besedilo v HTML, ne pa da ga pozneje doda JavaScript.
- Prosite ChatGPT z vklopljenim iskanjem, naj povzame vaš URL in odgovori na eno vprašanje, ki ga postavljajo vaši kupci. Oglejte si vire, ki jih navede.
Če 1. ali 2. korak ne uspe, najprej popravite to: razdelki v nadaljevanju pokažejo, kako. Če uspejo vsi štirje in vas ChatGPT še vedno ne navaja, je vzrok vsebina, ne dostop.
Kateri pajki OpenAI so pomembni za odgovore ChatGPT?
OpenAI dokumentira tri agente, s katerimi se lastniki spletnih mest običajno srečajo. Imajo različne naloge in blokiranje enega ne blokira drugih. OpenAI navaja, da je vsaka nastavitev robots.txt neodvisna.
OAI-SearchBotnajde in indeksira strani za funkcije iskanja ChatGPT. OpenAI pravi, da mesta, ki so ga zavrnila, ne bodo prikazana v odgovorih iskanja ChatGPT. Prav ta odloča, ali ste lahko citirani.GPTBotzbira vsebino, ki se lahko uporabi za učenje OpenAI-jevih temeljnih modelov. Njegova prepoved pove, da se vaša vsebina ne sme uporabljati za učenje. Iz odgovorov iskanja vas ne odstrani.ChatGPT-Userobišče stran, ko to od ChatGPT zahteva oseba, na primer s prilepljeno povezavo. OpenAI pravi, da pravila robots.txt za te obiske, ki jih sproži uporabnik, morda ne veljajo in da se ta agent ne uporablja za odločanje, ali se vsebina pojavi v iskanju.
Na kratko torej: OAI-SearchBot nadzoruje citate, GPTBot nadzoruje učenje, ChatGPT-User pa obravnava obiske v živo na zahtevo uporabnika.
Kako preverim svoj robots.txt za ChatGPT?
V brskalniku odprite https://yourdomain.com/robots.txt. Poiščite skupino, ki navaja OAI-SearchBot. Če je ni, pajek sledi skupini User-agent: *. Disallow: / v skupini, ki velja, blokira celotno mesto.
Preverite tudi, ali datoteka sploh odgovori. Po RFC 9309 mora pajek, če robots.txt vrne napako strežnika (5xx) ali ni dosegljiv, privzeti, da je prepovedano celotno mesto. Napaka 404 je v redu: pomeni, da pravil ni. Naslov robots.txt, ki vrne stran HTML s statusom 200, je pogosta napaka, saj pajki v njem ne najdejo veljavnih pravil.
Nastavitev, ki ohrani iskanje ChatGPT in zavrne učenje, je videti tako:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI pravi, da lahko po posodobitvi robots.txt traja približno 24 ur, preden spremembe za iskanje začnejo veljati.
Ali lahko požarni zid blokira ChatGPT, tudi ko ga robots.txt dovoljuje?
Da, in to je pogost vzrok. robots.txt je prošnja dobro vzgojenim pajkom, ne nadzor dostopa. Kaj se dejansko vrne, odloča vaš požarni zid, CDN ali zaščita pred boti. Če pajka UI obravnava kot neželenega bota, pajek dobi napako 403, 429 ali stran z izzivom, kot je Cloudflarov zaslon „Just a moment...“, ljudje v brskalniku pa stran vidijo normalno.
Od zunaj je to videti kot mesto, odprto za vse. Razliko pokaže samo zahteva, ki se predstavi kot pajek. V tem primeru robots.txt reče da, strežnik reče ne, in obvelja strežnik.
Kako preizkusim, kaj dobi OAI-SearchBot?
Na isti URL pošljite dve zahtevi, eno z user agentom brskalnika in eno z user agentom pajka, ter primerjajte statusno kodo in velikost. OpenAI za vsakega pajka objavlja primer user agenta; številka različice v njem se lahko spremeni.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Če brskalnik dobi 200 z veliko vsebino, pajek pa 403, 429, 503 ali precej manjšo vsebino, vaš požarni zid pajka obravnava drugače. Velja ena omejitev: vaš preizkus prihaja z vašega naslova IP, ne z OpenAI-jevega. Požarni zidovi, ki pajke preverjajo po objavljenih obsegih IP (OpenAI jih navaja na openai.com/searchbot.json), lahko pravega pajka spustijo skozi, vaš preizkus pa blokirajo. Blokada v tem preizkusu vam vseeno pove, kako požarni zid obravnava user agent, in to je vredno popraviti.
Kaj, če se stran naloži, ChatGPT pa še vedno ne pove nič uporabnega?
Dostop je šele prvi korak. Če je HTML, ki prispe, prazna lupina, ki jo pozneje napolni JavaScript, pajek morda dobi skoraj nič besedila. Neobdelani HTML si oglejte s curl ali s prikazom izvorne kode v brskalniku: če glavnega besedila tam ni, ga pajek najverjetneje tudi ne vidi.
Nato pridejo na vrsto signali vsebine: jasen kratek odgovor na vrhu strani, naslovi, ki se ujemajo z vprašanji, ki jih ljudje postavljajo, imenovan izdajatelj in avtor ter vidni datumi. Ti citata ne zagotavljajo, vendar olajšajo pravilno citiranje strani.
Kako to preveri AISeeWhy?
AISeeWhy vašo stran prenese kot OAI-SearchBot, GPTBot, ChatGPT-User in 11 drugih pajkov poleg običajnega brskalnika, vaš robots.txt prebere po pravilih RFC 9309 in imenuje požarni zid, ko ta odgovori z blokado ali izzivom. Vsaka ugotovitev ima popravek, pripravljen za lepljenje, brezplačno preverjanje pa pokaže vašo oceno in prvo ugotovitev.
Popravki za to težavo
- OAI-SearchBot je blokiran
- GPTBot dobi nadomestno stran
- Strani ni bilo mogoče prenesti
- Stran odgovori s statusom 403
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Viri
- OpenAI: pregled pajkov OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: upravljanje pajkov UI (AI Crawl Control)