Ar ChatGPT mato mano svetainę? Kaip patikrinti
Įklijuokite puslapį ir maždaug per 30 sekundžių pamatykite, ar ChatGPT robotai gali jį pasiekti, perskaityti ir cituoti, ir ką keisti, jei negali.
Nemokamai · Be registracijos · Rezultatas per 30 sekundžių
robots.txt, robotas po roboto
OAI-SearchBot, ChatGPT-User ir GPTBot skaitomi atskirai pagal RFC 9309 taisykles, tad matote, kuris leidžiamas ir kuri eilutė nusprendžia.
Ugniasienės ir CDN blokavimai
Jūsų puslapis užklausiamas kaip 14 robotų ir kaip įprasta naršyklė. 403, 429 ar patikrinimo puslapis, kurį gauna tik robotai, pažymimas, o už jo esanti ugniasienė įvardijama.
Ką robotas iš tikrųjų gauna
Kiekvieno roboto būsena, dydis ir peradresavimai lyginami su tuo, ką gauna naršyklė, todėl puslapis, kuris robotams duoda mažiau nei žmonėms, iškart matomas.
Sprendimas kiekvienam radiniui
Prie kiekvieno radinio pateikiamas keistinas dalykas. Nemokamas patikrinimas parodo jūsų įvertį ir pirmą radinį; pilna ataskaita kainuoja $29, vienkartinis mokestis.
ChatGPT gali cituoti jūsų puslapį tik tada, jei OpenAI paieškos robotui OAI-SearchBot leidžiama jį atsisiųsti ir jis gauna tą patį HTML kaip naršyklė. Patikrinkite tris dalykus: jūsų robots.txt nedraudžia OAI-SearchBot, jūsų ugniasienė ar CDN neatsako jam 403 ar patikrinimo puslapiu, o pagrindinis tekstas yra pradiniame HTML. Būti perskaitomam nėra tas pats, kas būti rekomenduojamam: norėdami sužinoti, ar ChatGPT mini jūsų svetainę, užduokite jam klausimus, kuriuos užduoda jūsų pirkėjai, ir užsirašykite, kurias svetaines jis cituoja.
Patikrinkite patys per 3 žingsnius
- Perskaitykite savo robots.txt
Atidarykite
https://your-site.com/robots.txt. Nei grupėOAI-SearchBot, neiChatGPT-User, neiUser-agent: *neturėtų drausti puslapio.GPTBotsvarbus tik mokymui. - Išbandykite, ką gauna robotas
Paprašykite puslapio kaip
OAI-SearchBotarba paleiskite nemokamą patikrinimą. Turi būti atsakyta 200 su tuo pačiu tekstu, kurį gauna naršyklė, o ne 403 ar patikrinimo puslapis. - Paklauskite ChatGPT
Įjungę paiešką paprašykite apibendrinti jūsų URL ir atsakyti į vieną klausimą, kurį užduoda jūsų pirkėjai, tada pažiūrėkite pateiktus šaltinius. Jei prieiga tvarkinga, o jūsų vis tiek nėra, priežastis yra turinys.
Dažniausiai užduodami klausimai
Ar galiu nemokamai patikrinti, ar ChatGPT mato mano svetainę?
Taip. Jūsų robots.txt perskaitymas, curl užklausa su OAI-SearchBot naudotojo agentu ir klausimas ChatGPT nieko nekainuoja. Nemokama AISeeWhy patikra atlieka robotų testus vienam puslapiui per dieną be paskyros.
Kaip patikrinti, ar ChatGPT rekomenduoja mano svetainę?
Įjungę paiešką užduokite ChatGPT klausimus, kuriuos užduoda jūsų pirkėjai, ir užsirašykite, ar jis mini ar susieja jūsų svetainę ir kuriuos konkurentus mini vietoj jūsų. Atsakymai skiriasi tarp paleidimų, todėl kiekvieną klausimą pakartokite ir tikrinkite dar kelias savaites. AISeeWhy DI matomumo patikra jūsų klausimus paleidžia per ChatGPT, Claude, Perplexity ir Gemini su jūsų pačių API raktais ir stebi paminėjimus šalia iki keturių konkurentų. Atsakymai per API gali skirtis nuo to, ką rodo ChatGPT programėlė.
Kodėl ChatGPT neranda mano svetainės?
Dažniausiai OAI-SearchBot uždraustas robots.txt, ugniasienė jam atsako 403 ar patikrinimo puslapiu arba tekstas atsiranda tik paleidus JavaScript. Jei visi trys dalykai tvarkoje, jūsų puslapis gali tiesiog atsakyti į klausimą ne taip tiesiai kaip puslapiai, kuriuos cituoja ChatGPT.
Ar GPTBot blokavimas pašalina mano svetainę iš ChatGPT paieškos?
Ne. OpenAI kiekvieno roboto nustatymą laiko nepriklausomu. GPTBot susijęs su mokymu, o OAI-SearchBot lemia, ar puslapiai gali būti rodomi ChatGPT paieškos atsakymuose. Vieną galite uždrausti, o kitą leisti.
Ar ChatGPT-User paiso robots.txt?
OpenAI teigia, kad kadangi šiuos apsilankymus inicijuoja naudotojas, robots.txt taisyklės gali negalioti. Jei norite sustabdyti tokius apsilankymus, robots.txt taisyklė nėra patikima priemonė.
Per kiek laiko robots.txt pakeitimas pasiekia ChatGPT?
OpenAI teigia, kad nuo robots.txt atnaujinimo jos sistemoms prisitaikyti paieškai gali prireikti maždaug 24 valandų.
Ar pakanka būti pasiekiamam, kad būtum cituojamas?
Ne. Prieiga leidžia būti cituojamam, bet to negarantuoja. Tai, ką puslapis sako ir kaip aiškiai, vis tiek lemia, ar jis bus panaudotas atsakyme.
Skaitykite visą vadovą
Daugelis svetainių savininkų klausia ChatGPT apie savo produktą, mato, kad cituojamas konkurentas, ir svarsto, ar ChatGPT apskritai gali pasiekti jų svetainę. Į šį klausimą yra konkretus, patikrinamas atsakymas. OpenAI skelbia savo robotų pavadinimus ir tai, ką kiekvienas daro, todėl galite patikrinti kiekvieną grandinės grandį: robots.txt taisykles, jūsų serverio atsakymą ir to atsakymo turinį.
5 minučių patikra žingsnis po žingsnio
- Atidarykite
https://your-site.com/robots.txtir įsitikinkite, kad jokiaOAI-SearchBot,ChatGPT-UserarUser-agent: *grupė nedraudžia puslapio.GPTBotsvarbus tik mokymui. - Paleiskite nemokamą puslapio patikrą AISeeWhy arba išsiųskite vieną užklausą su
OAI-SearchBotnaudotojo agentu: ji turi gauti būseną 200 ir tą patį tekstą, kurį gauna naršyklė, o ne 403 ar patikrinimo puslapį. - Peržiūrėkite puslapio šaltinį ir įsitikinkite, kad pagrindinis tekstas yra HTML, o ne pridedamas vėliau per JavaScript.
- Paprašykite ChatGPT su įjungta paieška apibendrinti jūsų URL ir atsakyti į vieną klausimą, kurį užduoda jūsų pirkėjai. Pažiūrėkite, kokius šaltinius jis nurodo.
Jei 1 ar 2 žingsnis nepavyksta, pirmiausia ištaisykite tai: toliau esantys skyriai parodo kaip. Jei visi keturi pavyksta, o ChatGPT vis tiek jūsų necituoja, priežastis yra turinys, ne prieiga.
Kurie OpenAI robotai svarbūs ChatGPT atsakymams?
OpenAI dokumentuoja tris agentus, su kuriais svetainių savininkai dažniausiai susiduria. Jų užduotys skiriasi, ir vieno blokavimas neblokuoja kitų. OpenAI teigia, kad kiekvienas robots.txt nustatymas nepriklausomas.
OAI-SearchBotranda ir indeksuoja puslapius ChatGPT paieškos funkcijoms. OpenAI teigia, kad svetainės, kurios jo atsisakė, nebus rodomos ChatGPT paieškos atsakymuose. Būtent jis lemia, ar galite būti cituojami.GPTBotrenka turinį, kuris gali būti naudojamas OpenAI baziniams modeliams mokyti. Jo draudimas reiškia, kad jūsų turinys neturėtų būti naudojamas mokymui. Iš paieškos atsakymų tai jūsų nepašalina.ChatGPT-Useraplanko puslapį, kai to paprašo žmogus, pvz., įklijavęs nuorodą į ChatGPT. OpenAI teigia, kad robots.txt taisyklės šiems naudotojo inicijuotiems apsilankymams gali negalioti ir kad šis agentas nenaudojamas sprendžiant, ar turinys pasirodys paieškoje.
Trumpai: OAI-SearchBot valdo citavimą, GPTBot valdo mokymą, o ChatGPT-User atlieka apsilankymus realiuoju laiku naudotojo prašymu.
Kaip patikrinti savo robots.txt dėl ChatGPT?
Atidarykite https://yourdomain.com/robots.txt naršyklėje. Ieškokite grupės, kurioje nurodytas OAI-SearchBot. Jei tokios nėra, robotas vadovaujasi grupe User-agent: *. Disallow: / taikomoje grupėje blokuoja visą svetainę.
Taip pat patikrinkite, ar failas apskritai atsako. Pagal RFC 9309, jei robots.txt grąžina serverio klaidą (5xx) arba yra nepasiekiamas, robotas turi laikyti visą svetainę uždrausta. 404 – tai normalu: taisyklių nėra. robots.txt adresas, grąžinantis HTML puslapį su būsena 200, yra dažna klaida, nes tada robotai jame neranda jokių galiojančių taisyklių.
Nustatymai, išlaikantys ChatGPT paiešką ir atsisakantys mokymo, atrodo taip:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI teigia, kad atnaujinus robots.txt pakeitimai paieškai gali įsigalioti maždaug per 24 valandas.
Ar ugniasienė gali blokuoti ChatGPT, net kai robots.txt jį leidžia?
Taip, ir tai dažna priežastis. robots.txt yra prašymas sąžiningiems robotams, o ne prieigos kontrolė. Tai, kas iš tikrųjų grąžinama, lemia jūsų ugniasienė, CDN ar apsauga nuo robotų. Jei ji DI robotą laiko nepageidaujamu, robotas gauna 403, 429 arba patikrinimo puslapį, pvz., Cloudflare ekraną „Just a moment...“, o žmonės naršyklėje puslapį mato įprastai.
Iš išorės tai atrodo kaip visiems atvira svetainė. Skirtumą parodo tik užklausa, prisistatanti robotu. Tokiu atveju robots.txt sako „taip“, serveris sako „ne“, ir laimi serveris.
Kaip patikrinti, ką gauna OAI-SearchBot?
Išsiųskite dvi užklausas tuo pačiu URL: vieną su naršyklės user agent, kitą su roboto user agent, ir palyginkite būsenos kodą bei dydį. OpenAI skelbia kiekvieno roboto user agent pavyzdį; versijos numeris jame gali keistis.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Jei naršyklė gauna 200 su dideliu turiniu, o robotas gauna 403, 429, 503 arba daug mažesnį turinį, jūsų ugniasienė su robotu elgiasi kitaip. Yra vienas apribojimas: jūsų testas siunčiamas iš jūsų pačių IP adreso, o ne iš OpenAI. Ugniasienės, tikrinančios robotus pagal paskelbtus IP intervalus (OpenAI juos skelbia openai.com/searchbot.json), gali įleisti tikrą robotą, o jūsų testą blokuoti. Blokavimas šiame teste vis tiek parodo, kaip ugniasienė elgiasi su user agent, ir tai verta pataisyti.
Kas, jei puslapis įsikelia, bet ChatGPT vis tiek nieko naudingo nepasako?
Prieiga yra tik pirmas žingsnis. Jei atkeliavęs HTML yra tuščias apvalkalas, vėliau užpildomas JavaScript, robotas gali gauti beveik jokio teksto. Pažiūrėkite į neapdorotą HTML su curl arba naršyklės view-source: jei pagrindinio teksto ten nėra, robotas greičiausiai jo irgi nemato.
Toliau eina turinio signalai: aiškus trumpas atsakymas puslapio viršuje, antraštės, atitinkančios žmonių užduodamus klausimus, nurodytas leidėjas ir autorius bei matomos datos. Jie negarantuoja citatos, bet palengvina tikslų puslapio citavimą.
Kaip tai tikrina AISeeWhy?
AISeeWhy atsisiunčia jūsų puslapį kaip OAI-SearchBot, GPTBot, ChatGPT-User ir dar 11 robotų kartu su įprasta naršykle, skaito jūsų robots.txt pagal RFC 9309 taisykles ir įvardija ugniasienę, kai ši atsako blokavimu ar patikrinimu. Prie kiekvieno radinio pateikiamas įklijuoti paruoštas pataisymas, o nemokama patikra rodo jūsų balą ir pirmą radinį.
Šios problemos pataisymai
- OAI-SearchBot užblokuotas
- GPTBot gauna pakaitinį puslapį
- Puslapio nepavyko atsisiųsti
- Puslapis atsako būsena 403
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Šaltiniai
- OpenAI: OpenAI robotų apžvalga
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: DI robotų valdymas (AI Crawl Control)