Vidi li ChatGPT moju web-stranicu? Kako to provjeriti
Zalijepite svoju stranicu i za otprilike 30 sekundi vidite mogu li je ChatGPT-jevi crawleri dohvatiti, pročitati i citirati te što promijeniti ako ne mogu.
Besplatno · Bez registracije · Rezultat za 30 sekundi
robots.txt, crawler po crawler
OAI-SearchBot, ChatGPT-User i GPTBot čitaju se zasebno prema pravilima RFC 9309, pa vidite koji je dopušten i koji redak odlučuje.
Blokade vatrozida i CDN-a
Vaša se stranica traži kao 14 crawlera i kao običan preglednik. Kod 403, 429 ili stranica s provjerom koju dobivaju samo crawleri bivaju označeni, a vatrozid iza njih imenuje se.
Što crawler zaista dobiva
Status, veličina i preusmjeravanja za svakog crawlera uspoređuju se s onim što dobiva preglednik, pa se jasno vidi stranica koja crawlerima odgovara s manje nego ljudima.
Rješenje za svaki nalaz
Uz svaki nalaz dolazi promjena koju treba napraviti. Besplatna provjera prikazuje vaš rezultat i prvi nalaz; cijeli izvještaj košta $29, jednokratno.
ChatGPT može citirati vašu stranicu samo ako je OpenAI-jev crawler za pretraživanje, OAI-SearchBot, smije dohvatiti i ako dobiva isti HTML kao preglednik. Provjerite tri stvari: vaš robots.txt ne zabranjuje OAI-SearchBot, vaš vatrozid ili CDN ne odgovara mu kodom 403 ili stranicom s provjerom, a glavni je tekst u početnom HTML-u. Biti čitljiv nije isto što i biti preporučen: da biste vidjeli navodi li ChatGPT vašu web-stranicu, postavite mu pitanja koja postavljaju vaši kupci i zabilježite koje web-stranice citira.
Provjerite sami u 3 koraka
- Pročitajte svoj robots.txt
Otvorite
https://your-site.com/robots.txt. Nijedna grupa zaOAI-SearchBot,ChatGPT-UseriliUser-agent: *ne smije zabranjivati stranicu.GPTBotje bitan samo za treniranje. - Testirajte što crawler dobiva
Zatražite stranicu kao
OAI-SearchBotili pokrenite besplatnu provjeru. Mora odgovoriti kodom 200 s istim tekstom kao u pregledniku, a ne kodom 403 ili stranicom s provjerom. - Pitajte ChatGPT
Uz uključeno pretraživanje zatražite da sažme vaš URL i odgovori na jedno pitanje koje postavljaju vaši kupci, pa pogledajte izvore koje navodi. Ako je pristup u redu, a vas i dalje nema, uzrok je sadržaj.
Česta pitanja
Mogu li besplatno provjeriti vidi li ChatGPT moju web-stranicu?
Da. Čitanje robots.txt, zahtjev curlom s user agentom OAI-SearchBot i pitanje u ChatGPT-u ne koštaju ništa. Besplatna provjera AISeeWhy pokreće testove crawlera za jednu stranicu dnevno, bez računa.
Kako provjeriti preporučuje li ChatGPT moju web-stranicu?
Postavite ChatGPT-u, s uključenim pretraživanjem, pitanja koja postavljaju vaši kupci i zabilježite navodi li ili povezuje vašu web-stranicu i koje konkurente navodi umjesto vas. Odgovori se razlikuju između pokretanja, pa svako pitanje ponovite i provjeravajte ponovno tijekom nekoliko tjedana. Provjera AI vidljivosti u AISeeWhyju pokreće vaša pitanja kroz ChatGPT, Claude, Perplexity i Gemini s vašim vlastitim API ključevima i prati spominjanja uz najviše četiri konkurenta. Odgovori putem API-ja mogu se razlikovati od onoga što prikazuje aplikacija ChatGPT.
Zašto ChatGPT ne može pronaći moju web-stranicu?
Najčešće je OAI-SearchBot zabranjen u robots.txt, vatrozid mu odgovara kodom 403 ili stranicom s provjerom, ili se tekst pojavljuje tek nakon izvršavanja JavaScripta. Ako je sve troje u redu, vaša stranica možda jednostavno odgovara na pitanje manje izravno od stranica koje ChatGPT citira.
Uklanja li blokiranje GPTBota moju web-stranicu iz pretraživanja u ChatGPT-u?
Ne. OpenAI svaku postavku crawlera tretira kao neovisnu. GPTBot se odnosi na treniranje, dok OAI-SearchBot odlučuje mogu li se stranice prikazivati u odgovorima pretraživanja ChatGPT-a. Jednog možete zabraniti, a drugog dopustiti.
Poštuje li ChatGPT-User robots.txt?
OpenAI navodi da se pravila u robots.txt možda ne primjenjuju jer te posjete pokreće korisnik. Ako želite zaustaviti te posjete, pravilo u robots.txt nije pouzdana kontrola.
Koliko treba da promjena u robots.txt stigne do ChatGPT-a?
OpenAI navodi da njegovim sustavima može trebati oko 24 sata od ažuriranja robots.txt da se prilagode za pretraživanje.
Je li dostupnost dovoljna za citiranje?
Nije. Pristup omogućuje citat, ali ga ne jamči. Ono što stranica kaže i koliko jasno to kaže i dalje odlučuje hoće li se koristiti u odgovoru.
Pročitajte cijeli vodič
Mnogi vlasnici web-stranica pitaju ChatGPT o vlastitom proizvodu, umjesto sebe vide citiranog konkurenta i pitaju se može li ChatGPT uopće doći do njihove web-stranice. Pitanje ima konkretan odgovor koji se može provjeriti. OpenAI objavljuje nazive svojih crawlera i čemu svaki služi, pa možete provjeriti svaku kariku u lancu: pravila u robots.txt, odgovor koji šalje vaš poslužitelj i sadržaj u tom odgovoru.
Provjera od 5 minuta, korak po korak
- Otvorite
https://your-site.com/robots.txti provjerite da nijedna grupa zaOAI-SearchBot,ChatGPT-UseriliUser-agent: *ne zabranjuje stranicu.GPTBotje važan samo za treniranje. - Pokrenite besplatnu provjeru stranice na AISeeWhy ili pošaljite jedan zahtjev s user agentom
OAI-SearchBot: mora dobiti status 200 i isti tekst koji dobiva preglednik, a ne 403 ili stranicu s izazovom. - Pogledajte izvorni kod stranice i potvrdite da je glavni tekst u HTML-u, a ne da ga naknadno dodaje JavaScript.
- Zamolite ChatGPT s uključenim pretraživanjem da sažme vaš URL i odgovori na jedno pitanje koje postavljaju vaši kupci. Pogledajte izvore koje navodi.
Ako 1. ili 2. korak ne prođe, najprije to ispravite: odjeljci u nastavku pokazuju kako. Ako sva četiri prođu, a ChatGPT vas i dalje ne citira, uzrok je sadržaj, a ne pristup.
Koji su OpenAI-jevi crawleri važni za odgovore ChatGPT-a?
OpenAI dokumentira tri agenta na koje vlasnici web-stranica obično nailaze. Imaju različite zadaće i blokiranje jednog ne blokira ostale. OpenAI navodi da je svaka postavka u robots.txt neovisna.
OAI-SearchBotpronalazi i indeksira stranice za značajke pretraživanja u ChatGPT-u. OpenAI navodi da se web-stranice koje su ga isključile neće prikazivati u odgovorima pretraživanja ChatGPT-a. Upravo on odlučuje možete li biti citirani.GPTBotprikuplja sadržaj koji se može koristiti za treniranje OpenAI-jevih temeljnih modela. Zabrana za njega znači da se vaš sadržaj ne smije koristiti za treniranje. Ne uklanja vas iz odgovora pretraživanja.ChatGPT-Userposjećuje stranicu kad to netko zatraži od ChatGPT-a, na primjer lijepljenjem poveznice. OpenAI navodi da se pravila u robots.txt na te posjete koje pokreću korisnici možda ne primjenjuju i da se taj agent ne koristi za odlučivanje o tome pojavljuje li se sadržaj u pretraživanju.
Ukratko: OAI-SearchBot upravlja citatima, GPTBot treniranjem, a ChatGPT-User obavlja posjete uživo na zahtjev korisnika.
Kako provjeriti robots.txt za ChatGPT?
Otvorite https://yourdomain.com/robots.txt u pregledniku. Potražite grupu koja navodi OAI-SearchBot. Ako je nema, crawler slijedi grupu User-agent: *. Disallow: / u grupi koja se primjenjuje blokira cijelu web-stranicu.
Provjerite i odgovara li datoteka uopće. Prema RFC 9309, ako robots.txt vraća pogrešku poslužitelja (5xx) ili nije dostupan, crawler mora pretpostaviti da je cijela web-stranica zabranjena. 404 je u redu: znači da nema pravila. Adresa robots.txt koja vraća HTML stranicu sa statusom 200 česta je pogreška jer crawleri u njoj tada ne pronalaze nijedno valjano pravilo.
Postavka koja zadržava pretraživanje u ChatGPT-u i isključuje treniranje izgleda ovako:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI navodi da promjene za pretraživanje mogu stupiti na snagu otprilike 24 sata nakon što ažurirate robots.txt.
Može li vatrozid blokirati ChatGPT čak i kad ga robots.txt dopušta?
Može, i to je čest uzrok. robots.txt je zahtjev upućen crawlerima koji se pristojno ponašaju, a ne kontrola pristupa. Vaš vatrozid, CDN ili zaštita od botova odlučuju što se stvarno šalje natrag. Ako AI crawler tretiraju kao neželjenog bota, crawler dobiva 403, 429 ili stranicu s provjerom poput Cloudflareova zaslona "Just a moment...", dok ljudi u pregledniku normalno vide stranicu.
Izvana to izgleda kao web-stranica otvorena svima. Razliku pokazuje samo zahtjev koji se predstavlja kao crawler. U tom slučaju robots.txt kaže da, poslužitelj kaže ne, a pobjeđuje poslužitelj.
Kako testirati što dobiva OAI-SearchBot?
Pošaljite dva zahtjeva na isti URL, jedan s user agentom preglednika i jedan s user agentom crawlera, i usporedite statusni kod i veličinu. OpenAI objavljuje primjer user agenta za svaki crawler; broj verzije u njemu može se promijeniti.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ako preglednik dobije 200 s velikim sadržajem, a crawler 403, 429, 503 ili znatno manji sadržaj, vaš vatrozid tretira crawler drukčije. Postoji jedno ograničenje: vaš test dolazi s vaše IP adrese, a ne s OpenAI-jeve. Vatrozidi koji provjeravaju crawlere prema objavljenim IP rasponima (OpenAI ih navodi na openai.com/searchbot.json) mogu propustiti pravi crawler, a blokirati vaš test. Blokada u ovom testu ipak vam govori kako vatrozid tretira user agent, a to vrijedi ispraviti.
Što ako se stranica učitava, a ChatGPT i dalje ne kaže ništa korisno?
Pristup je samo prvi korak. Ako je HTML koji stigne prazna ljuska koju kasnije popunjava JavaScript, crawler može dobiti gotovo nikakav tekst. Pogledajte izvorni HTML s curl ili prikazom izvornog koda u pregledniku: ako glavnog teksta ondje nema, crawler ga vjerojatno također ne vidi.
Nakon toga dolaze signali sadržaja: jasan kratak odgovor pri vrhu stranice, naslovi koji odgovaraju pitanjima koja ljudi postavljaju, navedeni izdavač i autor te vidljivi datumi. Oni ne jamče citat, ali olakšavaju točno citiranje stranice.
Kako AISeeWhy to provjerava?
AISeeWhy dohvaća vašu stranicu kao OAI-SearchBot, GPTBot, ChatGPT-User i 11 drugih crawlera uz običan preglednik, čita vaš robots.txt prema pravilima RFC 9309 i imenuje vatrozid kad odgovori blokadom ili provjerom. Uz svaki nalaz dolazi ispravak za lijepljenje, a besplatna provjera prikazuje vašu ocjenu i prvi nalaz.
Ispravci za ovaj problem
- OAI-SearchBot je blokiran
- GPTBot dobiva zamjensku stranicu
- Stranicu nije moguće dohvatiti
- Stranica odgovara statusom 403
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Izvori
- OpenAI: pregled crawlera OpenAI-ja
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: upravljanje AI crawlerima (AI Crawl Control)