A e sheh ChatGPT sajtin tim? Si ta kontrolloni
Ngjitni faqen tuaj dhe shihni për rreth 30 sekonda nëse zvarritësit e ChatGPT mund ta arrijnë, ta lexojnë dhe ta citojnë, dhe çfarë të ndryshoni nëse nuk mundin.
Falas · Pa regjistrim · Rezultate për 30 sekonda
robots.txt, zvarritës pas zvarritësi
OAI-SearchBot, ChatGPT-User dhe GPTBot lexohen veçmas sipas rregullave të RFC 9309, ndaj shihni cili lejohet dhe cili rresht vendos.
Bllokime nga firewall-i dhe CDN-ja
Faqja kërkohet si 14 zvarritës dhe si një shfletues i zakonshëm. Një 403, një 429 ose një faqe sfide që e marrin vetëm zvarritësit shënohet dhe emërtohet firewall-i pas saj.
Çfarë merr realisht zvarritësi
Statusi, madhësia dhe ridrejtimet për çdo zvarritës krahasohen me atë që merr një shfletues, ndaj dallohet një faqe që u jep zvarritësve më pak se njerëzve.
Një zgjidhje për çdo gjetje
Çdo gjetje vjen me ndryshimin që duhet bërë. Kontrolli falas tregon pikëzimin tuaj dhe gjetjen e parë; raporti i plotë kushton $29, një herë të vetme.
ChatGPT mund ta citojë faqen tuaj vetëm nëse zvarritësi i kërkimit i OpenAI, OAI-SearchBot, lejohet ta marrë dhe merr të njëjtin HTML që merr një shfletues. Kontrolloni tre gjëra: robots.txt juaj nuk e ndalon OAI-SearchBot, firewall-i ose CDN-ja nuk i përgjigjet me 403 ose me një faqe sfide, dhe teksti kryesor është në HTML-në fillestare. Të jesh i lexueshëm nuk është njësoj si të jesh i rekomanduar: për të parë nëse ChatGPT e përmend sajtin tuaj, bëjini pyetjet që bëjnë blerësit tuaj dhe shënoni cilat sajte citon.
Kontrolloni vetë në 3 hapa
- Lexoni robots.txt tuaj
Hapni
https://your-site.com/robots.txt. Asnjë grup përOAI-SearchBot,ChatGPT-UseroseUser-agent: *nuk duhet ta ndalojë faqen.GPTBotka rëndësi vetëm për trajnimin. - Testoni çfarë merr zvarritësi
Kërkoni faqen si
OAI-SearchBot, ose ekzekutoni kontrollin falas. Duhet të përgjigjet me 200 dhe me të njëjtin tekst që merr një shfletues, jo me 403 ose faqe sfide. - Pyesni ChatGPT
Me kërkimin të aktivizuar, kërkojini të përmbledhë URL-në tuaj dhe t'i përgjigjet një pyetjeje që bëjnë blerësit tuaj, pastaj shikoni burimet që liston. Nëse qasja është në rregull dhe prapë mungoni, shkaku është përmbajtja.
Pyetje të shpeshta
A mund ta kontrolloj falas nëse ChatGPT e sheh sajtin tim?
Po. Leximi i robots.txt tuaj, një kërkesë curl me user agent-in OAI-SearchBot dhe një pyetje në ChatGPT nuk kushtojnë asgjë. Kontrolli falas i AISeeWhy kryen testet e zvarritësve për një faqe në ditë pa llogari.
Si ta kontrolloj nëse ChatGPT e rekomandon sajtin tim?
Bëjini ChatGPT, me kërkimin të aktivizuar, pyetjet që bëjnë blerësit tuaj dhe shënoni nëse e përmend ose e lidh sajtin tuaj dhe cilët konkurrentë përmend në vend të tij. Përgjigjet ndryshojnë nga një ekzekutim te tjetri, ndaj përsëritni çdo pyetje dhe kontrolloni sërish gjatë disa javëve. Kontrolli i dukshmërisë në AI i AISeeWhy i bën pyetjet tuaja përmes ChatGPT, Claude, Perplexity dhe Gemini me çelësat tuaj API dhe ndjek përmendjet krahas deri në katër konkurrentëve. Përgjigjet përmes API-së mund të ndryshojnë nga ato që tregon aplikacioni ChatGPT.
Pse ChatGPT nuk e gjen sajtin tim?
Më shpesh OAI-SearchBot ndalohet në robots.txt, një firewall i përgjigjet me 403 ose një faqe sfide, ose teksti shfaqet vetëm pasi ekzekutohet JavaScript. Nëse të treja janë në rregull, faqja juaj thjesht mund t'i përgjigjet pyetjes më pak drejtpërdrejt se faqet që citon ChatGPT.
A e heq bllokimi i GPTBot sajtin tim nga kërkimi i ChatGPT?
Jo. OpenAI e trajton çdo cilësim zvarritësi si të pavarur. GPTBot lidhet me trajnimin, ndërsa OAI-SearchBot vendos nëse faqet mund të shfaqen në përgjigjet e kërkimit të ChatGPT. Mund ta ndaloni njërin dhe ta lejoni tjetrin.
A e ndjek ChatGPT-User robots.txt?
OpenAI thotë se, meqë këto vizita i nis një përdorues, rregullat e robots.txt mund të mos zbatohen. Nëse doni t'i ndaloni këto vizita, një rregull në robots.txt nuk është kontroll i besueshëm.
Sa kohë i duhet një ndryshimi në robots.txt për të arritur te ChatGPT?
OpenAI thotë se sistemeve të tij mund t'u duhen rreth 24 orë nga përditësimi i robots.txt për t'u përshtatur për kërkimin.
A mjafton të jesh i arritshëm për t'u cituar?
Jo. Qasja e bën citimin të mundur, por nuk e garanton. Çfarë thotë faqja, dhe sa qartë e thotë, vendos ende nëse përdoret në një përgjigje.
Lexoni udhëzuesin e plotë
Shumë pronarë sajtesh e pyesin ChatGPT për produktin e tyre, shohin që citohet një konkurrent dhe pyesin veten nëse ChatGPT mund ta arrijë fare sajtin e tyre. Pyetja ka një përgjigje konkrete që mund të testohet. OpenAI publikon emrat e zvarritësve të tij dhe çfarë bën secili, ndaj mund ta kontrolloni çdo hallkë të zinxhirit: rregullat e robots.txt, përgjigjen që dërgon serveri juaj dhe përmbajtjen në atë përgjigje.
Kontrolli 5-minutësh, hap pas hapi
- Hapni
https://your-site.com/robots.txtdhe sigurohuni që asnjë grup përOAI-SearchBot,ChatGPT-UseroseUser-agent: *nuk e ndalon faqen.GPTBotka rëndësi vetëm për trajnimin. - Kryeni një kontroll falas të faqes në AISeeWhy ose dërgoni një kërkesë me user agent-in
OAI-SearchBot: ajo duhet të marrë statusin 200 dhe të njëjtin tekst që merr një shfletues, jo 403 ose një faqe sfide. - Shikoni kodin burimor të faqes dhe konfirmoni që teksti kryesor është në HTML, jo i shtuar më vonë nga JavaScript.
- I kërkoni ChatGPT-së, me kërkimin të aktivizuar, të përmbledhë URL-në tuaj dhe t'i përgjigjet një pyetjeje që bëjnë blerësit tuaj. Shikoni burimet që rendit.
Nëse hapi 1 ose 2 dështon, rregullojeni atë së pari: seksionet më poshtë tregojnë si. Nëse të katër kalojnë dhe ChatGPT prapë nuk ju citon, shkaku është përmbajtja, jo aksesi.
Cilët zvarritës të OpenAI kanë rëndësi për përgjigjet e ChatGPT?
OpenAI dokumenton tre agjentë që pronarët e sajteve i hasin zakonisht. Ata kanë detyra të ndryshme, dhe bllokimi i njërit nuk i bllokon të tjerët. OpenAI deklaron se çdo cilësim i robots.txt është i pavarur.
OAI-SearchBotgjen dhe indekson faqe për funksionet e kërkimit të ChatGPT. OpenAI thotë se sajtet që e kanë refuzuar nuk do të shfaqen në përgjigjet e kërkimit të ChatGPT. Ky është ai që vendos nëse mund të citoheni.GPTBotmbledh përmbajtje që mund të përdoret për të trajnuar modelet bazë të OpenAI. Ndalimi i tij deklaron që përmbajtja juaj nuk duhet përdorur për trajnim. Nuk ju heq nga përgjigjet e kërkimit.ChatGPT-Userviziton një faqe kur një person ia kërkon ChatGPT-së, për shembull duke ngjitur një lidhje. OpenAI thotë se rregullat e robots.txt mund të mos zbatohen për këto vizita që i nis përdoruesi, dhe se ky agjent nuk përdoret për të vendosur nëse përmbajtja shfaqet në kërkim.
Shkurt: OAI-SearchBot kontrollon citimet, GPTBot kontrollon trajnimin, dhe ChatGPT-User kryen vizitat e drejtpërdrejta me kërkesë të përdoruesit.
Si ta kontrolloj robots.txt-në time për ChatGPT?
Hapni https://yourdomain.com/robots.txt në një shfletues. Kërkoni një grup që përmend OAI-SearchBot. Nëse nuk ka, zvarritësi ndjek grupin User-agent: *. Një Disallow: / në grupin që zbatohet bllokon gjithë sajtin.
Kontrolloni gjithashtu që skedari përgjigjet fare. Sipas RFC 9309, nëse robots.txt kthen gabim serveri (5xx) ose nuk mund të arrihet, zvarritësi duhet të supozojë që i gjithë sajti është i ndaluar. Një 404 është në rregull: do të thotë që nuk ka rregulla. Një adresë robots.txt që kthen një faqe HTML me status 200 është gabim i shpeshtë, sepse zvarritësit nuk gjejnë aty asnjë rregull të vlefshëm.
Një konfigurim që e mban kërkimin e ChatGPT dhe refuzon trajnimin duket kështu:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI thotë se ndryshimeve për kërkimin mund t'u duhen rreth 24 orë për të hyrë në fuqi pasi përditësoni robots.txt.
A mund ta bllokojë një firewall ChatGPT edhe kur robots.txt e lejon?
Po, dhe ky është shkak i shpeshtë. robots.txt është një kërkesë drejtuar zvarritësve të sjellshëm, jo kontroll qasjeje. Firewall-i, CDN-ja ose mbrojtja nga botët vendosin çfarë kthehet realisht. Nëse e trajtojnë një zvarritës AI si bot të padëshiruar, zvarritësi merr 403, 429 ose një faqe sfide si ekrani "Just a moment..." i Cloudflare, ndërsa njerëzit në shfletues e shohin faqen normalisht.
Nga jashtë kjo duket si një sajt i hapur për këdo. Vetëm një kërkesë që e identifikon veten si zvarritësi e tregon ndryshimin. Në këtë rast robots.txt thotë po, serveri thotë jo, dhe fiton serveri.
Si ta testoj çfarë merr OAI-SearchBot?
Dërgoni dy kërkesa te e njëjta URL, njërën me user agent shfletuesi dhe tjetrën me user agent-in e zvarritësit, dhe krahasoni kodin e statusit dhe madhësinë. OpenAI publikon një user agent shembull për çdo zvarritës; numri i versionit në të mund të ndryshojë.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Nëse shfletuesi merr 200 me një trup të madh dhe zvarritësi merr 403, 429, 503 ose një trup shumë më të vogël, firewall-i juaj e trajton zvarritësin ndryshe. Ka një kufizim: testi juaj vjen nga adresa juaj IP, jo nga ajo e OpenAI. Firewall-ët që i verifikojnë zvarritësit kundrejt gamave IP të publikuara (OpenAI i rendit te openai.com/searchbot.json) mund ta lënë të kalojë zvarritësin real ndërsa bllokojnë testin tuaj. Një bllokim në këtë test ju tregon gjithsesi si e trajton firewall-i user agent-in, dhe ia vlen ta rregulloni.
Po nëse faqja ngarkohet, por ChatGPT ende nuk thotë asgjë të dobishme?
Qasja është vetëm hapi i parë. Nëse HTML-ja që mbërrin është një guaskë bosh që mbushet më vonë nga JavaScript, zvarritësi mund të marrë pothuajse aspak tekst. Shikojeni HTML-në e papërpunuar me curl ose me view-source të shfletuesit: nëse teksti kryesor nuk është aty, me shumë gjasa zvarritësi nuk e sheh as ai.
Pas kësaj vijnë sinjalet e përmbajtjes: një përgjigje e shkurtër e qartë afër krye faqes, tituj që përputhen me pyetjet që bëjnë njerëzit, një botues dhe autor me emër, dhe data të dukshme. Këto nuk garantojnë citim, por e bëjnë një faqe më të lehtë për t'u cituar saktë.
Si e kontrollon këtë AISeeWhy?
AISeeWhy e merr faqen tuaj si OAI-SearchBot, GPTBot, ChatGPT-User dhe 11 zvarritës të tjerë krahas një shfletuesi të zakonshëm, e lexon robots.txt sipas rregullave të RFC 9309 dhe e emërton firewall-in kur ai përgjigjet me bllokim ose sfidë. Çdo gjetje vjen me rregullimin për t'u ngjitur, dhe kontrolli falas tregon rezultatin tuaj dhe gjetjen e parë.
Rregullime për këtë problem
- OAI-SearchBot është i bllokuar
- GPTBot merr një faqe bosh
- Faqja nuk mund të merrej
- Faqja përgjigjet me statusin 403
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Burimet
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Menaxhimi i zvarritësve AI (AI Crawl Control)