Vidí ChatGPT môj web? Ako to overiť
Vložte svoju stránku a zhruba za 30 sekúnd uvidíte, či sa k nej crawlery ChatGPT dostanú, prečítajú ju a môžu ju citovať, a čo zmeniť, ak nie.
Zadarmo · Bez registrácie · Výsledok za 30 sekúnd
robots.txt, crawler po crawleri
OAI-SearchBot, ChatGPT-User a GPTBot sa čítajú osobitne podľa pravidiel RFC 9309, takže vidíte, ktorý je povolený a ktorý riadok rozhoduje.
Blokovania vo firewalle a CDN
Vaša stránka sa vyžiada ako 14 crawlerov a ako bežný prehliadač. Kód 403, 429 alebo overovacia stránka, ktorú dostanú len crawlery, sa označí a firewall za ňou sa pomenuje.
Čo crawler naozaj dostane
Stav, veľkosť a presmerovania pre každý crawler sa porovnajú s tým, čo dostane prehliadač, takže stránka, ktorá crawlerom dáva menej ako ľuďom, vynikne.
Oprava ku každému zisteniu
Ku každému zisteniu patrí zmena, ktorú treba urobiť. Bezplatná kontrola ukáže vaše skóre a prvé zistenie; úplná správa stojí $29, jednorazovo.
ChatGPT môže vašu stránku citovať, len ak ju smie stiahnuť vyhľadávací crawler OpenAI OAI-SearchBot a dostane to isté HTML ako prehliadač. Skontrolujte tri veci: váš robots.txt nezakazuje OAI-SearchBot, váš firewall alebo CDN mu neodpovedá kódom 403 ani overovacou stránkou a hlavný text je v počiatočnom HTML. Byť čitateľný neznamená byť odporúčaný: ak chcete zistiť, či ChatGPT váš web spomína, pýtajte sa ho otázky, ktoré kladú vaši zákazníci, a zapisujte si, ktoré weby cituje.
Overte si to sami v 3 krokoch
- Prečítajte si robots.txt
Otvorte
https://your-site.com/robots.txt. Žiadna skupina preOAI-SearchBot,ChatGPT-UseraniUser-agent: *by nemala stránku zakazovať.GPTBotsa týka len tréningu. - Otestujte, čo crawler dostane
Vyžiadajte stránku ako
OAI-SearchBotalebo spustite bezplatnú kontrolu. Musí odpovedať kódom 200 s rovnakým textom ako prehliadač, nie kódom 403 ani overovacou stránkou. - Opýtajte sa ChatGPT
So zapnutým vyhľadávaním ho požiadajte o zhrnutie vašej URL a o odpoveď na jednu otázku, ktorú kladú vaši kupujúci, a pozrite sa na zdroje, ktoré uvedie. Ak je prístup v poriadku a stále chýbate, príčina je v obsahu.
Časté otázky
Môžem zadarmo zistiť, či ChatGPT vidí môj web?
Áno. Prečítanie robots.txt, požiadavka cez curl s user agentom OAI-SearchBot a otázka v ChatGPT nič nestoja. Bezplatná kontrola AISeeWhy spustí testy crawlerov pre jednu stránku denne bez účtu.
Ako zistiť, či ChatGPT odporúča môj web?
Pýtajte sa ChatGPT so zapnutým vyhľadávaním otázky, ktoré kladú vaši zákazníci, a zapisujte si, či váš web spomenie alebo naň odkáže a ktorých konkurentov spomína namiesto vás. Odpovede sa medzi spusteniami líšia, preto každú otázku zopakujte a kontrolujte znova počas niekoľkých týždňov. Kontrola Viditeľnosť v AI od AISeeWhy spúšťa vaše otázky cez ChatGPT, Claude, Perplexity a Gemini s vašimi vlastnými API kľúčmi a sleduje zmienky vedľa až štyroch konkurentov. Odpovede cez API sa môžu líšiť od toho, čo ukazuje aplikácia ChatGPT.
Prečo ChatGPT nenájde môj web?
Najčastejšie je OAI-SearchBot zakázaný v robots.txt, firewall mu odpovedá kódom 403 alebo overovacou stránkou, alebo sa text objaví až po spustení JavaScriptu. Ak sú všetky tri v poriadku, vaša stránka možno jednoducho odpovedá na otázku menej priamo než stránky, ktoré ChatGPT cituje.
Odstráni blokovanie GPTBot môj web z vyhľadávania v ChatGPT?
Nie. OpenAI považuje nastavenie každého crawlera za nezávislé. GPTBot sa týka trénovania, kým OAI-SearchBot rozhoduje, či sa stránky môžu zobraziť v odpovediach vyhľadávania ChatGPT. Jeden môžete zakázať a druhý povoliť.
Riadi sa ChatGPT-User súborom robots.txt?
OpenAI uvádza, že keďže tieto návštevy iniciuje používateľ, pravidlá robots.txt sa na ne nemusia vzťahovať. Ak chcete tieto návštevy zastaviť, pravidlo v robots.txt nie je spoľahlivá kontrola.
Ako dlho trvá, kým sa zmena robots.txt dostane do ChatGPT?
OpenAI uvádza, že od úpravy robots.txt môže trvať asi 24 hodín, kým sa jeho systémy pre vyhľadávanie prispôsobia.
Stačí byť dostupný, aby ma citovali?
Nie. Prístup citáciu umožňuje, nezaručuje ju. O tom, či sa stránka v odpovedi použije, stále rozhoduje to, čo hovorí a ako jasne to hovorí.
Prečítajte si celého sprievodcu
Mnohí majitelia webov sa ChatGPT spýtajú na vlastný produkt, uvidia, že namiesto nich cituje konkurenciu, a premýšľajú, či sa ChatGPT na ich web vôbec dostane. Otázka má konkrétnu, overiteľnú odpoveď. OpenAI zverejňuje názvy svojich crawlerov aj to, čo každý z nich robí, takže môžete skontrolovať každý článok reťazca: pravidlá robots.txt, odpoveď vášho servera a obsah tejto odpovede.
Kontrola za 5 minút krok za krokom
- Otvorte
https://your-site.com/robots.txta overte, že stránku nezakazuje žiadna skupina preOAI-SearchBot,ChatGPT-UseraniUser-agent: *.GPTBotje dôležitý len pre trénovanie. - Spustite bezplatnú kontrolu stránky v AISeeWhy alebo pošlite jednu požiadavku s user agentom
OAI-SearchBot: musí dostať stavový kód 200 a rovnaký text ako prehliadač, nie 403 ani overovaciu stránku. - Pozrite sa do zdrojového kódu stránky a overte, že hlavný text je v HTML a nepridáva ho až JavaScript.
- Požiadajte ChatGPT so zapnutým vyhľadávaním, aby zhrnul vašu URL a odpovedal na jednu otázku, ktorú kladú vaši zákazníci. Pozrite sa na zdroje, ktoré uvedie.
Ak zlyhá krok 1 alebo 2, opravte najskôr to: sekcie nižšie ukazujú ako. Ak prejdú všetky štyri a ChatGPT vás aj tak necituje, príčinou je obsah, nie prístup.
Ktoré crawlery OpenAI sú dôležité pre odpovede ChatGPT?
OpenAI dokumentuje troch agentov, s ktorými sa majitelia webov zvyčajne stretnú. Majú rozdielne úlohy a blokovanie jedného neblokuje ostatných. OpenAI uvádza, že každé nastavenie robots.txt je nezávislé.
OAI-SearchBothľadá a indexuje stránky pre funkcie vyhľadávania v ChatGPT. OpenAI uvádza, že weby, ktoré ho odmietli, sa v odpovediach vyhľadávania ChatGPT nezobrazia. Práve on rozhoduje, či môžete byť citovaní.GPTBotzbiera obsah, ktorý sa môže použiť na trénovanie základných modelov OpenAI. Jeho zákaz hovorí, že váš obsah sa nemá použiť na trénovanie. Z odpovedí vyhľadávania vás neodstráni.ChatGPT-Usernavštívi stránku, keď o to niekto ChatGPT požiada, napríklad vložením odkazu. OpenAI uvádza, že na tieto návštevy iniciované používateľom sa pravidlá robots.txt nemusia vzťahovať a že tento agent sa nepoužíva na rozhodovanie, či sa obsah zobrazí vo vyhľadávaní.
Stručne: OAI-SearchBot riadi citácie, GPTBot trénovanie a ChatGPT-User vybavuje živé návštevy na žiadosť používateľa.
Ako skontrolovať robots.txt pre ChatGPT?
Otvorte v prehliadači https://yourdomain.com/robots.txt. Hľadajte skupinu, ktorá menuje OAI-SearchBot. Ak žiadna nie je, crawler sa riadi skupinou User-agent: *. Disallow: / v skupine, ktorá platí, zablokuje celý web.
Skontrolujte aj to, či súbor vôbec odpovedá. Podľa RFC 9309 musí crawler, ak robots.txt vráti chybu servera (5xx) alebo je nedostupný, predpokladať, že celý web je zakázaný. 404 je v poriadku: znamená, že pravidlá neexistujú. Adresa robots.txt, ktorá vracia stránku HTML so stavovým kódom 200, je častá chyba, pretože crawlery v nej potom nenájdu žiadne platné pravidlá.
Nastavenie, ktoré zachová vyhľadávanie v ChatGPT a odmietne trénovanie, vyzerá takto:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI uvádza, že pri vyhľadávaní môže prejavenie zmien po úprave robots.txt trvať asi 24 hodín.
Môže firewall zablokovať ChatGPT, aj keď ho robots.txt povoľuje?
Áno, a je to častá príčina. robots.txt je žiadosť pre slušné crawlery, nie riadenie prístupu. O tom, čo sa naozaj odošle späť, rozhoduje váš firewall, CDN alebo ochrana proti botom. Ak AI crawler považujú za nežiaduceho bota, crawler dostane 403, 429 alebo overovaciu stránku, napríklad obrazovku Cloudflare „Just a moment...“, kým ľudia v prehliadači vidia stránku normálne.
Zvonku to vyzerá ako web otvorený pre všetkých. Rozdiel ukáže len požiadavka, ktorá sa predstaví ako crawler. V takom prípade robots.txt hovorí áno, server hovorí nie a vyhrá server.
Ako otestovať, čo dostane OAI-SearchBot?
Pošlite na tú istú URL dve požiadavky, jednu s user agentom prehliadača a jednu s user agentom crawlera, a porovnajte stavový kód a veľkosť. OpenAI zverejňuje ukážkového user agenta pre každý crawler; číslo verzie v ňom sa môže zmeniť.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ak prehliadač dostane 200 s veľkým telom a crawler dostane 403, 429, 503 alebo oveľa menšie telo, váš firewall zaobchádza s crawlerom inak. Platí jedno obmedzenie: váš test prichádza z vašej IP adresy, nie z IP OpenAI. Firewally, ktoré overujú crawlery podľa zverejnených rozsahov IP (OpenAI ich uvádza na openai.com/searchbot.json), môžu skutočný crawler pustiť a váš test zablokovať. Blok v tomto teste vám aj tak ukáže, ako firewall zaobchádza s user agentom, a to sa oplatí opraviť.
Čo ak sa stránka načíta, ale ChatGPT stále nepovie nič užitočné?
Prístup je len prvý krok. Ak HTML, ktoré dorazí, je prázdna kostra, ktorú neskôr naplní JavaScript, crawler môže dostať takmer žiadny text. Pozrite sa na surové HTML cez curl alebo zobrazenie zdroja v prehliadači: ak tam hlavný text nie je, crawler ho pravdepodobne tiež nevidí.
Potom prichádzajú na rad obsahové signály: jasná krátka odpoveď na začiatku stránky, nadpisy, ktoré zodpovedajú otázkam, aké sa ľudia pýtajú, uvedený vydavateľ a autor a viditeľné dátumy. Citáciu nezaručujú, ale uľahčujú správne citovanie stránky.
Ako to kontroluje AISeeWhy?
AISeeWhy stiahne vašu stránku ako OAI-SearchBot, GPTBot, ChatGPT-User a 11 ďalších crawlerov popri bežnom prehliadači, prečíta váš robots.txt podľa pravidiel RFC 9309 a pomenuje firewall, ak odpovedá blokom alebo overovaním. Každé zistenie má opravu na vloženie a bezplatná kontrola ukáže vaše skóre a prvé zistenie.
Opravy tohto problému
- OAI-SearchBot je zablokovaný
- GPTBot dostane prázdnu stránku
- Stránku sa nepodarilo stiahnuť
- Stránka odpovedá stavovým kódom 403
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Zdroje
- OpenAI: Prehľad crawlerov OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Správa AI crawlerov (AI Crawl Control)