Kas ChatGPT näeb minu veebisaiti? Kuidas seda kontrollida
Kleebi oma leht ja vaata umbes 30 sekundiga, kas ChatGPT robotid jõuavad sinu lehele, saavad seda lugeda ja sellele viidata, ning mida muuta, kui ei saa.
Tasuta · Registreerumata · Tulemus 30 sekundiga
robots.txt robot roboti haaval
OAI-SearchBot, ChatGPT-User ja GPTBot loetakse eraldi RFC 9309 reeglite järgi, nii et näed, milline on lubatud ja milline rida otsustab.
Tulemüüri ja CDN-i blokeeringud
Sinu lehte küsitakse 14 robotina ja tavalise brauserina. 403, 429 või kontrollleht, mille saavad ainult robotid, märgitakse ning selle taga olev tulemüür nimetatakse.
Mida robot tegelikult saab
Iga roboti saadud olekut, suurust ja ümbersuunamisi võrreldakse brauseri saadavaga, nii et leht, mis vastab robotitele vähemaga kui inimestele, paistab silma.
Lahendus igale leiule
Iga leiuga kaasneb muudatus, mida teha. Tasuta kontroll näitab sinu skoori ja esimest leidu; täisraport maksab $29, ühekordselt.
ChatGPT saab sinu lehele viidata ainult siis, kui OpenAI otsingurobot OAI-SearchBot tohib seda laadida ja saab sama HTML-i, mille saab brauser. Kontrolli kolme asja: sinu robots.txt ei keela OAI-SearchBot-i, sinu tulemüür või CDN ei vasta talle veaga 403 ega kontrollilehega ning põhitekst on esialgses HTML-is. Loetav olemine pole sama mis soovitatud olemine: et näha, kas ChatGPT nimetab sinu saiti, esita talle küsimused, mida sinu ostjad küsivad, ja pane kirja, millistele saitidele ta viitab.
Kontrolli ise 3 sammuga
- Loe oma robots.txt-i
Ava
https://your-site.com/robots.txt. Ükski gruppOAI-SearchBot-ile,ChatGPT-User-ile egaUser-agent: *ei tohiks lehte keelata.GPTBoton oluline ainult treeninguks. - Testi, mida robot saab
Küsi lehte
OAI-SearchBot-ina või tee tasuta kontroll. Vastus peab olema 200 sama tekstiga, mille saab brauser, mitte 403 ega kontrollleht. - Küsi ChatGPT-lt
Lülita otsing sisse, palu tal sinu URL kokku võtta ja vastata ühele küsimusele, mida sinu ostjad esitavad, ning vaata tema loetletud allikaid. Kui ligipääs on korras, aga sind ikka pole, on põhjus sisus.
Korduma kippuvad küsimused
Kas saan tasuta kontrollida, kas ChatGPT näeb minu saiti?
Jah. Sinu robots.txt lugemine, curl-päring OAI-SearchBot user agent'iga ja küsimus ChatGPT-le ei maksa midagi. AISeeWhy tasuta kontroll käivitab robotitestid ühe lehe kohta päevas ilma kontota.
Kuidas kontrollida, kas ChatGPT soovitab minu saiti?
Küsi ChatGPT-lt, otsing sisse lülitatud, küsimusi, mida sinu ostjad küsivad, ja pane kirja, kas see nimetab või lingib sinu saiti ja milliseid konkurente see selle asemel nimetab. Vastused erinevad käivituste vahel, nii et korda iga küsimust ja kontrolli uuesti mitme nädala jooksul. AISeeWhy nähtavuse kontroll tehisintellektis esitab sinu küsimused sinu enda API-võtmetega ChatGPT, Claude'i, Perplexity ja Gemini kaudu ning jälgib mainimisi kuni nelja konkurendi kõrval. API kaudu saadud vastused võivad erineda sellest, mida näitab ChatGPT rakendus.
Miks ChatGPT minu saiti ei leia?
Kõige sagedamini on OAI-SearchBot robots.txt-s keelatud, tulemüür vastab talle veaga 403 või kontrollilehega või ilmub tekst alles pärast JavaScripti käivitumist. Kui kõik kolm on korras, võib sinu leht lihtsalt vastata küsimusele vähem otse kui lehed, millele ChatGPT viitab.
Kas GPTBot-i blokeerimine eemaldab mu saidi ChatGPT otsingust?
Ei. OpenAI käsitleb iga roboti seadet sõltumatuna. GPTBot on seotud treenimisega, OAI-SearchBot aga otsustab, kas lehti saab ChatGPT otsinguvastustes näidata. Võid ühe keelata ja teise lubada.
Kas ChatGPT-User järgib robots.txt-d?
OpenAI ütleb, et kuna need külastused algatab kasutaja, ei pruugi robots.txt reeglid kehtida. Kui soovid neid külastusi peatada, pole robots.txt reegel usaldusväärne vahend.
Kui kaua võtab aega, enne kui robots.txt muudatus ChatGPT-ni jõuab?
OpenAI ütleb, et pärast robots.txt uuendamist võib tema süsteemide otsingu jaoks kohandumine võtta umbes 24 tundi.
Kas kättesaadavusest piisab, et mulle viidataks?
Ei. Ligipääs teeb viite võimalikuks, kuid ei garanteeri seda. See, mida leht ütleb ja kui selgelt, otsustab ikkagi, kas seda vastuses kasutatakse.
Loe kogu juhendit
Paljud saidiomanikud küsivad ChatGPT-lt oma toote kohta, näevad, et viidatakse hoopis konkurendile, ja mõtlevad, kas ChatGPT üldse nende saidini jõuab. Küsimusele on konkreetne ja kontrollitav vastus. OpenAI avaldab oma robotite nimed ja selle, mida igaüks teeb, seega saad kontrollida iga ahela lüli: robots.txt reeglid, vastuse, mille sinu server saadab, ja selle vastuse sisu.
5-minutiline kontroll samm-sammult
- Ava
https://your-site.com/robots.txtja veendu, et ükski grupp robotiteleOAI-SearchBot,ChatGPT-UservõiUser-agent: *lehte ei keela.GPTBoton oluline ainult treenimise jaoks. - Käivita lehe tasuta kontroll AISeeWhy's või saada üks päring
OAI-SearchBotuser agent'iga: see peab saama olekukoodi 200 ja sama teksti, mida saab brauser, mitte 403 või väljakutselehte. - Vaata lehe lähtekoodi ja veendu, et põhitekst on HTML-is ega lisata seda hiljem JavaScriptiga.
- Palu ChatGPT-l otsingu sisselülitatult teha sinu URL-ist kokkuvõte ja vastata ühele küsimusele, mida sinu ostjad küsivad. Vaata, milliseid allikaid see loetleb.
Kui samm 1 või 2 ebaõnnestub, paranda see kõigepealt: allpool olevad jaotised näitavad, kuidas. Kui kõik neli õnnestuvad ja ChatGPT ikka sulle ei viita, on põhjus sisus, mitte ligipääsus.
Millised OpenAI robotid on ChatGPT vastuste jaoks olulised?
OpenAI dokumenteerib kolm agenti, kellega saidiomanikud tavaliselt kokku puutuvad. Neil on erinevad ülesanded ja ühe blokeerimine ei blokeeri teisi. OpenAI ütleb, et iga robots.txt seade on sõltumatu.
OAI-SearchBotleiab ja indekseerib lehti ChatGPT otsingufunktsioonide jaoks. OpenAI ütleb, et saite, mis on sellest loobunud, ChatGPT otsinguvastustes ei näidata. Just see otsustab, kas sulle saab viidata.GPTBotkogub sisu, mida võidakse kasutada OpenAI alusmudelite treenimiseks. Selle keelamine ütleb, et sinu sisu ei tohi treenimiseks kasutada. See ei eemalda sind otsinguvastustest.ChatGPT-Userkülastab lehte, kui inimene palub ChatGPT-l seda teha, näiteks lingi kleepimisega. OpenAI ütleb, et robots.txt reeglid ei pruugi nendele kasutaja algatatud külastustele kehtida ja et seda agenti ei kasutata otsustamiseks, kas sisu ilmub otsingus.
Lühidalt: OAI-SearchBot juhib viiteid, GPTBot treenimist ja ChatGPT-User tegeleb otsekülastustega kasutaja palvel.
Kuidas kontrollida oma robots.txt-d ChatGPT jaoks?
Ava brauseris https://yourdomain.com/robots.txt. Otsi gruppi, mis nimetab OAI-SearchBot-i. Kui sellist pole, järgib robot gruppi User-agent: *. Disallow: / kehtivas grupis blokeerib kogu saidi.
Kontrolli ka, kas fail üldse vastab. RFC 9309 järgi peab robot eeldama, et kogu sait on keelatud, kui robots.txt tagastab serveri vea (5xx) või pole kättesaadav. 404 on korras: see tähendab, et reegleid pole. robots.txt aadress, mis tagastab HTML-lehe olekukoodiga 200, on levinud viga, sest robotid ei leia siis sealt ühtegi kehtivat reeglit.
Seadistus, mis säilitab ChatGPT otsingu ja loobub treenimisest, näeb välja selline:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI ütleb, et otsingu muudatuste jõustumiseks pärast robots.txt uuendamist võib kuluda umbes 24 tundi.
Kas tulemüür võib ChatGPT blokeerida ka siis, kui robots.txt seda lubab?
Jah, ja see on levinud põhjus. robots.txt on palve korralikult käituvatele robotitele, mitte juurdepääsukontroll. Sinu tulemüür, CDN või robotikaitse otsustab, mida tegelikult tagasi saadetakse. Kui see peab AI-robotit soovimatuks robotiks, saab robot 403, 429 või kontrollilehe, näiteks Cloudflare'i ekraani "Just a moment...", samal ajal kui inimesed brauseris näevad lehte tavapäraselt.
Väljastpoolt näeb see välja nagu sait, mis on kõigile avatud. Erinevust näitab ainult päring, mis esitleb end robotina. Sel juhul ütleb robots.txt jah, server ütleb ei ja server võidab.
Kuidas testida, mida OAI-SearchBot saab?
Saada samale URL-ile kaks päringut, ühe brauseri user agent'iga ja teise roboti user agent'iga, ning võrdle olekukoodi ja suurust. OpenAI avaldab iga roboti kohta näidis-user agent'i; selles olev versiooninumber võib muutuda.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Kui brauser saab 200 suure sisuga ja robot saab 403, 429, 503 või palju väiksema sisu, kohtleb sinu tulemüür robotit teisiti. Kehtib üks piirang: sinu test tuleb sinu enda IP-aadressilt, mitte OpenAI omalt. Tulemüürid, mis kinnitavad roboteid avaldatud IP-vahemike järgi (OpenAI loetleb need aadressil openai.com/searchbot.json), võivad päris roboti läbi lasta ja sinu testi blokeerida. Blokeering selles testis näitab siiski, kuidas tulemüür user agent'isse suhtub, ja seda tasub parandada.
Mis siis, kui leht laadib, aga ChatGPT ei ütle ikka midagi kasulikku?
Ligipääs on alles esimene samm. Kui kohale jõudev HTML on tühi kest, mille JavaScript hiljem täidab, võib robot saada vaid väga vähe teksti. Vaata toor-HTML-i curl-iga või brauseri lähtekoodi vaatest: kui põhiteksti seal pole, ei näe robot seda tõenäoliselt samuti.
Seejärel tulevad sisu signaalid: selge lühike vastus lehe ülaosas, pealkirjad, mis vastavad inimeste küsimustele, nimega väljaandja ja autor ning nähtavad kuupäevad. Need ei garanteeri viidet, kuid muudavad lehe õigesti tsiteerimise lihtsamaks.
Kuidas AISeeWhy seda kontrollib?
AISeeWhy laadib sinu lehe OAI-SearchBot-ina, GPTBot-ina, ChatGPT-User-ina ja 11 muu robotina tavalise brauseri kõrval, loeb sinu robots.txt-d RFC 9309 reeglite järgi ja nimetab tulemüüri, kui see vastab blokeeringu või kontrolliga. Iga leiuga kaasneb kleepimiseks valmis parandus ning tasuta kontroll näitab sinu skoori ja esimest leidu.
Selle probleemi parandused
- OAI-SearchBot on blokeeritud
- GPTBot saab asenduslehe
- Lehte ei õnnestunud laadida
- Leht vastab olekukoodiga 403
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Allikad
- OpenAI: Overview of OpenAI crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Manage AI crawlers (AI Crawl Control)