Vidí ChatGPT môj web? Ako to overiť

Vložte svoju stránku a zhruba za 30 sekúnd uvidíte, či sa k nej crawlery ChatGPT dostanú, prečítajú ju a môžu ju citovať, a čo zmeniť, ak nie.

Zadarmo · Bez registrácie · Výsledok za 30 sekúnd

robots.txt, crawler po crawleri

OAI-SearchBot, ChatGPT-User a GPTBot sa čítajú osobitne podľa pravidiel RFC 9309, takže vidíte, ktorý je povolený a ktorý riadok rozhoduje.

Blokovania vo firewalle a CDN

Vaša stránka sa vyžiada ako 14 crawlerov a ako bežný prehliadač. Kód 403, 429 alebo overovacia stránka, ktorú dostanú len crawlery, sa označí a firewall za ňou sa pomenuje.

Čo crawler naozaj dostane

Stav, veľkosť a presmerovania pre každý crawler sa porovnajú s tým, čo dostane prehliadač, takže stránka, ktorá crawlerom dáva menej ako ľuďom, vynikne.

Oprava ku každému zisteniu

Ku každému zisteniu patrí zmena, ktorú treba urobiť. Bezplatná kontrola ukáže vaše skóre a prvé zistenie; úplná správa stojí $29, jednorazovo.

Krátka odpoveď

ChatGPT môže vašu stránku citovať, len ak ju smie stiahnuť vyhľadávací crawler OpenAI OAI-SearchBot a dostane to isté HTML ako prehliadač. Skontrolujte tri veci: váš robots.txt nezakazuje OAI-SearchBot, váš firewall alebo CDN mu neodpovedá kódom 403 ani overovacou stránkou a hlavný text je v počiatočnom HTML. Byť čitateľný neznamená byť odporúčaný: ak chcete zistiť, či ChatGPT váš web spomína, pýtajte sa ho otázky, ktoré kladú vaši zákazníci, a zapisujte si, ktoré weby cituje.

Overte si to sami v 3 krokoch

  1. Prečítajte si robots.txt

    Otvorte https://your-site.com/robots.txt. Žiadna skupina pre OAI-SearchBot, ChatGPT-User ani User-agent: * by nemala stránku zakazovať. GPTBot sa týka len tréningu.

  2. Otestujte, čo crawler dostane

    Vyžiadajte stránku ako OAI-SearchBot alebo spustite bezplatnú kontrolu. Musí odpovedať kódom 200 s rovnakým textom ako prehliadač, nie kódom 403 ani overovacou stránkou.

  3. Opýtajte sa ChatGPT

    So zapnutým vyhľadávaním ho požiadajte o zhrnutie vašej URL a o odpoveď na jednu otázku, ktorú kladú vaši kupujúci, a pozrite sa na zdroje, ktoré uvedie. Ak je prístup v poriadku a stále chýbate, príčina je v obsahu.

Časté otázky

Môžem zadarmo zistiť, či ChatGPT vidí môj web?

Áno. Prečítanie robots.txt, požiadavka cez curl s user agentom OAI-SearchBot a otázka v ChatGPT nič nestoja. Bezplatná kontrola AISeeWhy spustí testy crawlerov pre jednu stránku denne bez účtu.

Ako zistiť, či ChatGPT odporúča môj web?

Pýtajte sa ChatGPT so zapnutým vyhľadávaním otázky, ktoré kladú vaši zákazníci, a zapisujte si, či váš web spomenie alebo naň odkáže a ktorých konkurentov spomína namiesto vás. Odpovede sa medzi spusteniami líšia, preto každú otázku zopakujte a kontrolujte znova počas niekoľkých týždňov. Kontrola Viditeľnosť v AI od AISeeWhy spúšťa vaše otázky cez ChatGPT, Claude, Perplexity a Gemini s vašimi vlastnými API kľúčmi a sleduje zmienky vedľa až štyroch konkurentov. Odpovede cez API sa môžu líšiť od toho, čo ukazuje aplikácia ChatGPT.

Prečo ChatGPT nenájde môj web?

Najčastejšie je OAI-SearchBot zakázaný v robots.txt, firewall mu odpovedá kódom 403 alebo overovacou stránkou, alebo sa text objaví až po spustení JavaScriptu. Ak sú všetky tri v poriadku, vaša stránka možno jednoducho odpovedá na otázku menej priamo než stránky, ktoré ChatGPT cituje.

Odstráni blokovanie GPTBot môj web z vyhľadávania v ChatGPT?

Nie. OpenAI považuje nastavenie každého crawlera za nezávislé. GPTBot sa týka trénovania, kým OAI-SearchBot rozhoduje, či sa stránky môžu zobraziť v odpovediach vyhľadávania ChatGPT. Jeden môžete zakázať a druhý povoliť.

Riadi sa ChatGPT-User súborom robots.txt?

OpenAI uvádza, že keďže tieto návštevy iniciuje používateľ, pravidlá robots.txt sa na ne nemusia vzťahovať. Ak chcete tieto návštevy zastaviť, pravidlo v robots.txt nie je spoľahlivá kontrola.

Ako dlho trvá, kým sa zmena robots.txt dostane do ChatGPT?

OpenAI uvádza, že od úpravy robots.txt môže trvať asi 24 hodín, kým sa jeho systémy pre vyhľadávanie prispôsobia.

Stačí byť dostupný, aby ma citovali?

Nie. Prístup citáciu umožňuje, nezaručuje ju. O tom, či sa stránka v odpovedi použije, stále rozhoduje to, čo hovorí a ako jasne to hovorí.

Prečítajte si celého sprievodcu

Mnohí majitelia webov sa ChatGPT spýtajú na vlastný produkt, uvidia, že namiesto nich cituje konkurenciu, a premýšľajú, či sa ChatGPT na ich web vôbec dostane. Otázka má konkrétnu, overiteľnú odpoveď. OpenAI zverejňuje názvy svojich crawlerov aj to, čo každý z nich robí, takže môžete skontrolovať každý článok reťazca: pravidlá robots.txt, odpoveď vášho servera a obsah tejto odpovede.

Kontrola za 5 minút krok za krokom

  1. Otvorte https://your-site.com/robots.txt a overte, že stránku nezakazuje žiadna skupina pre OAI-SearchBot, ChatGPT-User ani User-agent: *. GPTBot je dôležitý len pre trénovanie.
  2. Spustite bezplatnú kontrolu stránky v AISeeWhy alebo pošlite jednu požiadavku s user agentom OAI-SearchBot: musí dostať stavový kód 200 a rovnaký text ako prehliadač, nie 403 ani overovaciu stránku.
  3. Pozrite sa do zdrojového kódu stránky a overte, že hlavný text je v HTML a nepridáva ho až JavaScript.
  4. Požiadajte ChatGPT so zapnutým vyhľadávaním, aby zhrnul vašu URL a odpovedal na jednu otázku, ktorú kladú vaši zákazníci. Pozrite sa na zdroje, ktoré uvedie.

Ak zlyhá krok 1 alebo 2, opravte najskôr to: sekcie nižšie ukazujú ako. Ak prejdú všetky štyri a ChatGPT vás aj tak necituje, príčinou je obsah, nie prístup.

Ktoré crawlery OpenAI sú dôležité pre odpovede ChatGPT?

OpenAI dokumentuje troch agentov, s ktorými sa majitelia webov zvyčajne stretnú. Majú rozdielne úlohy a blokovanie jedného neblokuje ostatných. OpenAI uvádza, že každé nastavenie robots.txt je nezávislé.

  • OAI-SearchBot hľadá a indexuje stránky pre funkcie vyhľadávania v ChatGPT. OpenAI uvádza, že weby, ktoré ho odmietli, sa v odpovediach vyhľadávania ChatGPT nezobrazia. Práve on rozhoduje, či môžete byť citovaní.
  • GPTBot zbiera obsah, ktorý sa môže použiť na trénovanie základných modelov OpenAI. Jeho zákaz hovorí, že váš obsah sa nemá použiť na trénovanie. Z odpovedí vyhľadávania vás neodstráni.
  • ChatGPT-User navštívi stránku, keď o to niekto ChatGPT požiada, napríklad vložením odkazu. OpenAI uvádza, že na tieto návštevy iniciované používateľom sa pravidlá robots.txt nemusia vzťahovať a že tento agent sa nepoužíva na rozhodovanie, či sa obsah zobrazí vo vyhľadávaní.

Stručne: OAI-SearchBot riadi citácie, GPTBot trénovanie a ChatGPT-User vybavuje živé návštevy na žiadosť používateľa.

Ako skontrolovať robots.txt pre ChatGPT?

Otvorte v prehliadači https://yourdomain.com/robots.txt. Hľadajte skupinu, ktorá menuje OAI-SearchBot. Ak žiadna nie je, crawler sa riadi skupinou User-agent: *. Disallow: / v skupine, ktorá platí, zablokuje celý web.

Skontrolujte aj to, či súbor vôbec odpovedá. Podľa RFC 9309 musí crawler, ak robots.txt vráti chybu servera (5xx) alebo je nedostupný, predpokladať, že celý web je zakázaný. 404 je v poriadku: znamená, že pravidlá neexistujú. Adresa robots.txt, ktorá vracia stránku HTML so stavovým kódom 200, je častá chyba, pretože crawlery v nej potom nenájdu žiadne platné pravidlá.

Nastavenie, ktoré zachová vyhľadávanie v ChatGPT a odmietne trénovanie, vyzerá takto:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI uvádza, že pri vyhľadávaní môže prejavenie zmien po úprave robots.txt trvať asi 24 hodín.

Môže firewall zablokovať ChatGPT, aj keď ho robots.txt povoľuje?

Áno, a je to častá príčina. robots.txt je žiadosť pre slušné crawlery, nie riadenie prístupu. O tom, čo sa naozaj odošle späť, rozhoduje váš firewall, CDN alebo ochrana proti botom. Ak AI crawler považujú za nežiaduceho bota, crawler dostane 403, 429 alebo overovaciu stránku, napríklad obrazovku Cloudflare „Just a moment...“, kým ľudia v prehliadači vidia stránku normálne.

Zvonku to vyzerá ako web otvorený pre všetkých. Rozdiel ukáže len požiadavka, ktorá sa predstaví ako crawler. V takom prípade robots.txt hovorí áno, server hovorí nie a vyhrá server.

Ako otestovať, čo dostane OAI-SearchBot?

Pošlite na tú istú URL dve požiadavky, jednu s user agentom prehliadača a jednu s user agentom crawlera, a porovnajte stavový kód a veľkosť. OpenAI zverejňuje ukážkového user agenta pre každý crawler; číslo verzie v ňom sa môže zmeniť.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ak prehliadač dostane 200 s veľkým telom a crawler dostane 403, 429, 503 alebo oveľa menšie telo, váš firewall zaobchádza s crawlerom inak. Platí jedno obmedzenie: váš test prichádza z vašej IP adresy, nie z IP OpenAI. Firewally, ktoré overujú crawlery podľa zverejnených rozsahov IP (OpenAI ich uvádza na openai.com/searchbot.json), môžu skutočný crawler pustiť a váš test zablokovať. Blok v tomto teste vám aj tak ukáže, ako firewall zaobchádza s user agentom, a to sa oplatí opraviť.

Čo ak sa stránka načíta, ale ChatGPT stále nepovie nič užitočné?

Prístup je len prvý krok. Ak HTML, ktoré dorazí, je prázdna kostra, ktorú neskôr naplní JavaScript, crawler môže dostať takmer žiadny text. Pozrite sa na surové HTML cez curl alebo zobrazenie zdroja v prehliadači: ak tam hlavný text nie je, crawler ho pravdepodobne tiež nevidí.

Potom prichádzajú na rad obsahové signály: jasná krátka odpoveď na začiatku stránky, nadpisy, ktoré zodpovedajú otázkam, aké sa ľudia pýtajú, uvedený vydavateľ a autor a viditeľné dátumy. Citáciu nezaručujú, ale uľahčujú správne citovanie stránky.

Ako to kontroluje AISeeWhy?

AISeeWhy stiahne vašu stránku ako OAI-SearchBot, GPTBot, ChatGPT-User a 11 ďalších crawlerov popri bežnom prehliadači, prečíta váš robots.txt podľa pravidiel RFC 9309 a pomenuje firewall, ak odpovedá blokom alebo overovaním. Každé zistenie má opravu na vloženie a bezplatná kontrola ukáže vaše skóre a prvé zistenie.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Zdroje

Ďalšie články

Publikované · Aktualizované