AISeeWhy
CS
Spustit zkušební verzi zdarma

Vidí ChatGPT můj web? Jak to zjistit

Publikováno

Stručná odpověď

ChatGPT může vaši stránku citovat jen tehdy, když si ji vyhledávací crawler OpenAI OAI-SearchBot smí stáhnout a dostane stejné HTML jako prohlížeč. Ověřte tři věci: robots.txt OAI-SearchBot nezakazuje, firewall ani CDN mu neodpovídají kódem 403 nebo ověřovací stránkou a hlavní text je v úvodním HTML.

Mnoho majitelů webů se zeptá ChatGPT na vlastní produkt, uvidí citovanou konkurenci a ptá se, jestli se ChatGPT k jejich webu vůbec dostane. Otázka má konkrétní, ověřitelnou odpověď. OpenAI zveřejňuje názvy svých crawlerů i to, co který dělá, takže můžete zkontrolovat každý článek řetězu: pravidla v robots.txt, odpověď, kterou posílá váš server, a obsah této odpovědi.

Na této stránce
  1. Které crawlery OpenAI jsou pro odpovědi ChatGPT důležité?
  2. Jak zkontroluji robots.txt kvůli ChatGPT?
  3. Může firewall zablokovat ChatGPT, i když ho robots.txt povoluje?
  4. Jak otestuji, co dostává OAI-SearchBot?
  5. Co když se stránka načte, ale ChatGPT stále neřekne nic užitečného?
  6. Jak to kontroluje AISeeWhy?

Které crawlery OpenAI jsou pro odpovědi ChatGPT důležité?

OpenAI dokumentuje tři agenty, se kterými se majitelé webů obvykle setkají. Mají různé úkoly a zablokování jednoho neblokuje ostatní. OpenAI uvádí, že každé nastavení v robots.txt je nezávislé.

Stručně: OAI-SearchBot řídí citace, GPTBot řídí trénování a ChatGPT-User obsluhuje živé návštěvy na žádost uživatele.

Jak zkontroluji robots.txt kvůli ChatGPT?

Otevřete https://yourdomain.com/robots.txt v prohlížeči. Hledejte skupinu, která jmenuje OAI-SearchBot. Pokud žádná není, crawler se řídí skupinou User-agent: *. Disallow: / ve skupině, která se na něj vztahuje, blokuje celý web.

Zkontrolujte také, zda soubor vůbec odpovídá. Podle RFC 9309 platí: pokud robots.txt vrací chybu serveru (5xx) nebo je nedostupný, musí crawler předpokládat, že je zakázán celý web. Kód 404 je v pořádku: znamená, že žádná pravidla nejsou. Častou chybou je adresa robots.txt, která vrací HTML stránku se stavem 200, protože crawlery v ní pak nenajdou žádná platná pravidla.

Nastavení, které zachová vyhledávání ChatGPT a odmítne trénování, vypadá takto:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI uvádí, že se změny pro vyhledávání mohou projevit zhruba za 24 hodin po aktualizaci robots.txt.

Může firewall zablokovat ChatGPT, i když ho robots.txt povoluje?

Ano, a je to častá příčina. robots.txt je žádost určená slušně se chovajícím crawlerům, ne řízení přístupu. Firewall, CDN nebo ochrana proti botům rozhodují o tom, co se skutečně odešle zpět. Pokud AI crawler považují za nežádoucího bota, dostane kód 403, 429 nebo ověřovací stránku, například obrazovku „Just a moment...“ od Cloudflare, zatímco lidé v prohlížeči vidí stránku normálně.

Zvenčí to vypadá jako web otevřený všem. Rozdíl ukáže jen požadavek, který se představí jako crawler. Pak robots.txt říká ano, server říká ne a server vyhrává.

Jak otestuji, co dostává OAI-SearchBot?

Pošlete na stejnou adresu URL dva požadavky, jeden s user agentem prohlížeče a druhý s user agentem crawleru, a porovnejte stavový kód a velikost. OpenAI zveřejňuje ukázkový user agent pro každý crawler; číslo verze se může měnit.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Pokud prohlížeč dostane 200 s velkým tělem a crawler 403, 429, 503 nebo výrazně menší tělo, firewall zachází s crawlerem jinak. Platí jedno omezení: váš test pochází z vaší vlastní IP adresy, ne z adresy OpenAI. Firewally, které crawlery ověřují podle zveřejněných rozsahů IP (OpenAI je uvádí na openai.com/searchbot.json), mohou skutečného crawlera pustit a váš test zablokovat. Blokace v tomto testu přesto ukazuje, jak firewall zachází s user agentem, a to stojí za opravu.

Co když se stránka načte, ale ChatGPT stále neřekne nic užitečného?

Přístup je jen první krok. Pokud dorazí HTML, které je prázdná schránka doplněná až později JavaScriptem, může crawler dostat téměř žádný text. Podívejte se na surové HTML pomocí curl nebo zobrazení zdroje v prohlížeči: pokud tam hlavní text není, crawler ho pravděpodobně také nevidí.

Potom přicházejí signály obsahu: jasná krátká odpověď blízko začátku stránky, nadpisy odpovídající otázkám, které lidé kladou, uvedený vydavatel a autor a viditelná data. Citaci nezaručují, ale usnadňují správné citování stránky.

Jak to kontroluje AISeeWhy?

AISeeWhy stáhne vaši stránku jako OAI-SearchBot, GPTBot, ChatGPT-User a dalších 11 crawlerů vedle běžného prohlížeče, přečte váš robots.txt podle pravidel RFC 9309 a pojmenuje firewall, když odpoví blokací nebo ověřovací stránkou. Ke každému zjištění dostanete opravu k vložení a bezplatná kontrola ukáže skóre a první zjištění.

Časté dotazy

Odstraní zablokování GPTBot můj web z vyhledávání ChatGPT?

Ne. OpenAI považuje nastavení každého crawleru za nezávislé. GPTBot souvisí s trénováním, zatímco OAI-SearchBot rozhoduje, zda se stránky mohou zobrazit v odpovědích vyhledávání ChatGPT. Jeden můžete zakázat a druhý povolit.

Řídí se ChatGPT-User souborem robots.txt?

OpenAI uvádí, že protože tyto návštěvy vyvolává uživatel, pravidla v robots.txt se nemusí uplatnit. Pokud chcete tyto návštěvy zastavit, pravidlo v robots.txt není spolehlivý nástroj.

Za jak dlouho se změna v robots.txt dostane k ChatGPT?

OpenAI uvádí, že od aktualizace robots.txt může trvat zhruba 24 hodin, než se její systémy pro vyhledávání přizpůsobí.

Stačí být dostupný, aby vás ChatGPT citoval?

Ne. Přístup citaci umožňuje, ale nezaručuje. O tom, zda se stránka v odpovědi použije, nadále rozhoduje to, co říká a jak srozumitelně.

Zdroje

Další články