AISeeWhy
RO
Începe proba gratuită

Poate ChatGPT să-mi vadă site-ul? Cum verifici

Publicat

Răspuns scurt

ChatGPT îți poate cita pagina doar dacă crawlerul de căutare al OpenAI, OAI-SearchBot, o poate accesa și primește același HTML ca un browser. Verifică trei lucruri: robots.txt nu interzice OAI-SearchBot, firewall-ul sau CDN-ul nu îi răspunde cu un 403 sau cu o pagină de verificare, iar textul principal se află în HTML-ul inițial.

Mulți proprietari de site-uri îl întreabă pe ChatGPT despre propriul produs, văd citat un concurent și se întreabă dacă ChatGPT ajunge măcar la site-ul lor. Întrebarea are un răspuns concret, care poate fi testat. OpenAI publică numele crawlerelor sale și ce face fiecare, așa că poți verifica fiecare verigă din lanț: regulile din robots.txt, răspunsul trimis de server și conținutul din acel răspuns.

Pe această pagină
  1. Ce crawlere OpenAI contează pentru răspunsurile ChatGPT?
  2. Cum îmi verific robots.txt pentru ChatGPT?
  3. Poate un firewall să blocheze ChatGPT chiar dacă robots.txt îl permite?
  4. Cum testez ce primește OAI-SearchBot?
  5. Ce fac dacă pagina se încarcă, dar ChatGPT tot nu spune nimic util?
  6. Cum verifică AISeeWhy acest lucru?

Ce crawlere OpenAI contează pentru răspunsurile ChatGPT?

OpenAI documentează trei agenți pe care proprietarii de site-uri îi întâlnesc de obicei. Au roluri diferite, iar blocarea unuia nu îi blochează pe ceilalți. OpenAI precizează că fiecare setare din robots.txt este independentă.

Pe scurt: OAI-SearchBot controlează citările, GPTBot controlează antrenarea, iar ChatGPT-User se ocupă de vizitele live făcute la cererea unui utilizator.

Cum îmi verific robots.txt pentru ChatGPT?

Deschide https://yourdomain.com/robots.txt într-un browser. Caută un grup care îl menționează pe OAI-SearchBot. Dacă nu există, crawlerul urmează grupul User-agent: *. Un Disallow: / în grupul aplicabil blochează întregul site.

Verifică și dacă fișierul răspunde deloc. Conform RFC 9309, dacă robots.txt returnează o eroare de server (5xx) sau nu poate fi accesat, crawlerul trebuie să presupună că întregul site este interzis. Un 404 nu e o problemă: înseamnă că nu există reguli. O adresă robots.txt care returnează o pagină HTML cu status 200 este o greșeală frecventă, pentru că atunci crawlerele nu găsesc în ea reguli valide.

O configurație care păstrează căutarea ChatGPT și refuză antrenarea arată așa:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI spune că modificările pentru căutare pot dura aproximativ 24 de ore pentru a intra în vigoare după ce actualizezi robots.txt.

Poate un firewall să blocheze ChatGPT chiar dacă robots.txt îl permite?

Da, și este o cauză frecventă. robots.txt este o rugăminte adresată crawlerelor care se comportă corect, nu un control al accesului. Firewall-ul, CDN-ul sau protecția anti-bot decid ce se trimite de fapt înapoi. Dacă tratează un crawler AI ca pe un bot nedorit, crawlerul primește un 403, un 429 sau o pagină de verificare, cum este ecranul „Just a moment...” de la Cloudflare, în timp ce oamenii din browser văd pagina normal.

Din exterior, site-ul pare deschis tuturor. Diferența se vede doar la o cerere care se identifică drept crawlerul. În acest caz, robots.txt spune da, serverul spune nu, iar serverul câștigă.

Cum testez ce primește OAI-SearchBot?

Trimite două cereri către același URL, una cu user agent de browser și una cu user agent-ul crawlerului, și compară codul de stare și dimensiunea. OpenAI publică un exemplu de user agent pentru fiecare crawler; numărul versiunii se poate schimba.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Dacă browserul primește 200 cu un corp mare, iar crawlerul primește 403, 429, 503 sau un corp mult mai mic, firewall-ul tratează crawlerul diferit. Există o limită: testul tău pornește de la propria adresă IP, nu de la una a OpenAI. Firewall-urile care verifică crawlerele după intervalele IP publicate (OpenAI le listează la openai.com/searchbot.json) pot lăsa crawlerul real să treacă, blocând în același timp testul tău. Un blocaj în acest test îți arată totuși cum tratează firewall-ul user agent-ul, iar asta merită remediat.

Ce fac dacă pagina se încarcă, dar ChatGPT tot nu spune nimic util?

Accesul este doar primul pas. Dacă HTML-ul primit este o carcasă goală, completată ulterior de JavaScript, crawlerul poate primi aproape niciun text. Uită-te la HTML-ul brut cu curl sau cu view-source din browser: dacă textul principal nu se află acolo, probabil nici crawlerul nu îl vede.

Urmează semnalele de conținut: un răspuns scurt și clar aproape de începutul paginii, titluri care corespund întrebărilor oamenilor, un editor și un autor menționați și date vizibile. Acestea nu garantează o citare, dar fac pagina mai ușor de citat corect.

Cum verifică AISeeWhy acest lucru?

AISeeWhy preia pagina ta ca OAI-SearchBot, GPTBot, ChatGPT-User și alte 11 crawlere, alături de un browser obișnuit, citește robots.txt după regulile RFC 9309 și numește firewall-ul atunci când răspunde cu un blocaj sau o pagină de verificare. Fiecare constatare vine cu remedierea de copiat, iar verificarea gratuită îți arată scorul și prima constatare.

Întrebări frecvente

Dacă blochez GPTBot, îmi dispare site-ul din căutarea ChatGPT?

Nu. OpenAI tratează fiecare setare de crawler ca independentă. GPTBot ține de antrenare, în timp ce OAI-SearchBot decide dacă paginile pot fi afișate în răspunsurile de căutare din ChatGPT. Poți interzice unul și permite celălalt.

Respectă ChatGPT-User robots.txt?

OpenAI spune că, fiind vizite inițiate de un utilizator, regulile din robots.txt pot să nu se aplice. Dacă vrei să oprești aceste vizite, o regulă din robots.txt nu este un control de încredere.

Cât durează până când o modificare din robots.txt ajunge la ChatGPT?

OpenAI spune că pot dura aproximativ 24 de ore de la actualizarea robots.txt până când sistemele sale se adaptează pentru căutare.

Este suficient să fii accesibil pentru a fi citat?

Nu. Accesul face citarea posibilă, dar nu o garantează. Ce spune pagina și cât de clar o spune decid în continuare dacă este folosită într-un răspuns.

Surse

Alte articole