Vai ChatGPT redz manu vietni? Kā to pārbaudīt
Ielīmējiet savu lapu un apmēram 30 sekundēs uzziniet, vai ChatGPT rāpuļprogrammas var to sasniegt, izlasīt un citēt, un ko mainīt, ja nevar.
Bez maksas · Bez reģistrācijas · Rezultāts 30 sekundēs
robots.txt, katra rāpuļprogramma atsevišķi
OAI-SearchBot, ChatGPT-User un GPTBot tiek lasīti atsevišķi pēc RFC 9309 noteikumiem, tāpēc redzat, kura ir atļauta un kura rindiņa izšķir.
Ugunsmūra un CDN bloķējumi
Jūsu lapa tiek pieprasīta kā 14 rāpuļprogrammas un kā parasts pārlūks. 403, 429 vai pārbaudes lapa, ko saņem tikai rāpuļprogrammas, tiek atzīmēta, un ugunsmūris aiz tās tiek nosaukts.
Ko rāpuļprogramma patiešām saņem
Katras rāpuļprogrammas statuss, izmērs un pāradresācijas tiek salīdzinātas ar pārlūka saņemtajiem, tāpēc lapa, kas rāpuļprogrammām atbild ar mazāk nekā cilvēkiem, ir uzreiz pamanāma.
Labojums katram atradumam
Katram atradumam ir pievienots veicamais labojums. Bezmaksas pārbaude parāda jūsu rezultātu un pirmo atradumu; pilns pārskats maksā $29, vienreiz.
ChatGPT var citēt jūsu lapu tikai tad, ja OpenAI meklēšanas rāpuļprogramma OAI-SearchBot drīkst to ielādēt un saņem to pašu HTML, ko pārlūks. Pārbaudiet trīs lietas: jūsu robots.txt neaizliedz OAI-SearchBot, jūsu ugunsmūris vai CDN tai neatbild ar 403 vai pārbaudes lapu, un galvenais teksts ir sākotnējā HTML. Būt nolasāmam nav tas pats, kas būt ieteiktam: lai redzētu, vai ChatGPT nosauc jūsu vietni, uzdodiet tam jautājumus, ko uzdod jūsu pircēji, un pierakstiet, kuras vietnes tas citē.
Pārbaudiet paši 3 soļos
- Izlasiet savu robots.txt
Atveriet
https://your-site.com/robots.txt. Neviena grupa priekšOAI-SearchBot,ChatGPT-UservaiUser-agent: *nedrīkst aizliegt lapu.GPTBotir svarīgs tikai apmācībai. - Pārbaudiet, ko saņem rāpuļprogramma
Pieprasiet lapu kā
OAI-SearchBotvai palaidiet bezmaksas pārbaudi. Tai jāatbild ar 200 un to pašu tekstu, ko saņem pārlūks, nevis ar 403 vai pārbaudes lapu. - Pajautājiet ChatGPT
Ar ieslēgtu meklēšanu palūdziet apkopot jūsu URL un atbildēt uz jautājumu, ko uzdod jūsu pircēji, tad apskatiet norādītos avotus. Ja piekļuve ir kārtībā, bet jūs joprojām nav, iemesls ir saturs.
Biežāk uzdotie jautājumi
Vai varu bez maksas pārbaudīt, vai ChatGPT redz manu vietni?
Jā. Jūsu robots.txt nolasīšana, curl pieprasījums ar OAI-SearchBot lietotāja aģentu un jautājums ChatGPT neko nemaksā. AISeeWhy bezmaksas pārbaude veic rāpuļprogrammu testus vienai lapai dienā bez konta.
Kā pārbaudīt, vai ChatGPT iesaka manu vietni?
Uzdodiet ChatGPT ar ieslēgtu meklēšanu jautājumus, ko uzdod jūsu pircēji, un pierakstiet, vai tas nosauc vai saista jūsu vietni un kurus konkurentus tas nosauc jūsu vietā. Atbildes atšķiras starp palaišanas reizēm, tāpēc atkārtojiet katru jautājumu un pārbaudiet vēlreiz vairāku nedēļu laikā. AISeeWhy funkcija Redzamība MI uzdod jūsu jautājumus ChatGPT, Claude, Perplexity un Gemini ar jūsu pašu API atslēgām un izseko pieminējumus blakus līdz četriem konkurentiem. Atbildes caur API var atšķirties no tā, ko rāda ChatGPT lietotne.
Kāpēc ChatGPT nevar atrast manu vietni?
Visbiežāk OAI-SearchBot ir aizliegta robots.txt, ugunsmūris tai atbild ar 403 vai pārbaudes lapu, vai teksts parādās tikai pēc JavaScript izpildes. Ja visi trīs ir kārtībā, jūsu lapa, iespējams, vienkārši atbild uz jautājumu mazāk tieši nekā lapas, ko ChatGPT citē.
Vai GPTBot bloķēšana izņem manu vietni no ChatGPT meklēšanas?
Nē. OpenAI katras rāpuļprogrammas iestatījumu uzskata par neatkarīgu. GPTBot attiecas uz apmācību, bet OAI-SearchBot nosaka, vai lapas var rādīt ChatGPT meklēšanas atbildēs. Vienu varat aizliegt, otru atļaut.
Vai ChatGPT-User ievēro robots.txt?
OpenAI norāda, ka, tā kā šos apmeklējumus ierosina lietotājs, robots.txt kārtulas var neattiekties. Ja vēlaties apturēt šos apmeklējumus, robots.txt kārtula nav uzticams līdzeklis.
Cik ilgā laikā robots.txt izmaiņas sasniedz ChatGPT?
OpenAI norāda, ka pēc robots.txt atjaunināšanas tās sistēmām pielāgošanās meklēšanai var aizņemt aptuveni 24 stundas.
Vai pietiek ar sasniedzamību, lai mani citētu?
Nē. Piekļuve padara citātu iespējamu, bet to negarantē. Tas, ko lapa saka un cik skaidri, joprojām nosaka, vai to izmanto atbildē.
Lasīt visu pamācību
Daudzi vietņu īpašnieki jautā ChatGPT par savu produktu, redz, ka tā vietā citēts konkurents, un prāto, vai ChatGPT vispār var piekļūt viņu vietnei. Uz šo jautājumu ir konkrēta, pārbaudāma atbilde. OpenAI publicē savu rāpuļprogrammu nosaukumus un to, ko katra dara, tāpēc varat pārbaudīt katru ķēdes posmu: robots.txt kārtulas, servera atbildi un saturu šajā atbildē.
5 minūšu pārbaude soli pa solim
- Atveriet
https://your-site.com/robots.txtun pārliecinieties, ka nevienaOAI-SearchBot,ChatGPT-UservaiUser-agent: *grupa neaizliedz lapu.GPTBotir svarīga tikai apmācībai. - Palaidiet bezmaksas lapas pārbaudi AISeeWhy vai nosūtiet vienu pieprasījumu ar
OAI-SearchBotlietotāja aģentu: tam jāsaņem statuss 200 un tas pats teksts, ko saņem pārlūks, nevis 403 vai pārbaudes lapa. - Apskatiet lapas pirmkodu un pārliecinieties, ka galvenais teksts ir HTML, nevis vēlāk pievienots ar JavaScript.
- Lūdziet ChatGPT ar ieslēgtu meklēšanu apkopot jūsu URL un atbildēt uz vienu jautājumu, ko uzdod jūsu pircēji. Apskatiet avotus, ko tas norāda.
Ja 1. vai 2. solis neizdodas, vispirms labojiet to: tālāk esošās sadaļas parāda, kā. Ja visi četri izdodas un ChatGPT jūs joprojām necitē, iemesls ir saturs, nevis piekļuve.
Kuras OpenAI rāpuļprogrammas ir svarīgas ChatGPT atbildēm?
OpenAI dokumentē trīs aģentus, ar kuriem vietņu īpašnieki parasti saskaras. Tiem ir dažādi uzdevumi, un viena bloķēšana nebloķē pārējos. OpenAI norāda, ka katrs robots.txt iestatījums ir neatkarīgs.
OAI-SearchBotatrod un indeksē lapas ChatGPT meklēšanas funkcijām. OpenAI norāda, ka vietnes, kas no tās atteikušās, netiks rādītas ChatGPT meklēšanas atbildēs. Tieši tā nosaka, vai jūs var citēt.GPTBotvāc saturu, ko var izmantot OpenAI pamatmodeļu apmācībai. Tās aizliegšana nozīmē, ka jūsu saturu nedrīkst izmantot apmācībai. Tā neizņem jūs no meklēšanas atbildēm.ChatGPT-Userapmeklē lapu, kad cilvēks to lūdz ChatGPT, piemēram, ielīmējot saiti. OpenAI norāda, ka robots.txt kārtulas uz šiem lietotāja ierosinātajiem apmeklējumiem var neattiekties un ka šo aģentu neizmanto, lai izlemtu, vai saturs parādās meklēšanā.
Īsumā: OAI-SearchBot kontrolē citātus, GPTBot kontrolē apmācību, un ChatGPT-User veic tiešsaistes apmeklējumus pēc lietotāja pieprasījuma.
Kā pārbaudīt savu robots.txt attiecībā uz ChatGPT?
Atveriet https://yourdomain.com/robots.txt pārlūkā. Meklējiet grupu, kas nosauc OAI-SearchBot. Ja tādas nav, rāpuļprogramma ievēro grupu User-agent: *. Disallow: / tajā grupā, kas attiecas, bloķē visu vietni.
Pārbaudiet arī, vai fails vispār atbild. Saskaņā ar RFC 9309, ja robots.txt atgriež servera kļūdu (5xx) vai nav sasniedzams, rāpuļprogrammai jāpieņem, ka visa vietne ir aizliegta. 404 ir kārtībā: tas nozīmē, ka kārtulu nav. robots.txt adrese, kas atgriež HTML lapu ar statusu 200, ir bieža kļūda, jo rāpuļprogrammas tad tajā neatrod nevienu derīgu kārtulu.
Iestatījums, kas saglabā ChatGPT meklēšanu un atsakās no apmācības, izskatās šādi:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI norāda, ka meklēšanas izmaiņas pēc robots.txt atjaunināšanas var stāties spēkā aptuveni 24 stundu laikā.
Vai ugunsmūris var bloķēt ChatGPT, pat ja robots.txt to atļauj?
Jā, un tas ir bieži sastopams iemesls. robots.txt ir lūgums godprātīgām rāpuļprogrammām, nevis piekļuves kontrole. Jūsu ugunsmūris, CDN vai aizsardzība pret robotiem nosaka, kas patiešām tiek nosūtīts atpakaļ. Ja tā MI rāpuļprogrammu uzskata par nevēlamu robotu, rāpuļprogramma saņem 403, 429 vai pārbaudes lapu, piemēram, Cloudflare ekrānu “Just a moment...”, kamēr cilvēki pārlūkā redz lapu normāli.
No ārpuses tas izskatās pēc vietnes, kas atvērta visiem. Atšķirību parāda tikai pieprasījums, kas sevi identificē kā rāpuļprogrammu. Šajā gadījumā robots.txt saka “jā”, serveris saka “nē”, un uzvar serveris.
Kā pārbaudīt, ko saņem OAI-SearchBot?
Nosūtiet divus pieprasījumus uz to pašu URL, vienu ar pārlūka user-agent un otru ar rāpuļprogrammas user-agent, un salīdziniet statusa kodu un izmēru. OpenAI publicē user-agent piemēru katrai rāpuļprogrammai; versijas numurs tajā var mainīties.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ja pārlūks saņem 200 ar lielu saturu, bet rāpuļprogramma saņem 403, 429, 503 vai daudz mazāku saturu, jūsu ugunsmūris pret rāpuļprogrammu izturas citādi. Ir viens ierobežojums: jūsu tests nāk no jūsu IP adreses, nevis no OpenAI. Ugunsmūri, kas verificē rāpuļprogrammas pēc publicētajiem IP diapazoniem (OpenAI tos norāda openai.com/searchbot.json), var ielaist īsto rāpuļprogrammu, bloķējot jūsu testu. Bloķējums šajā testā tomēr parāda, kā ugunsmūris izturas pret user-agent, un to ir vērts labot.
Ko darīt, ja lapa ielādējas, bet ChatGPT joprojām nepasaka neko noderīgu?
Piekļuve ir tikai pirmais solis. Ja pienākušais HTML ir tukša čaula, ko vēlāk aizpilda JavaScript, rāpuļprogramma var saņemt gandrīz nekādu tekstu. Apskatiet neapstrādāto HTML ar curl vai pārlūka lapas avota skatu: ja galvenā teksta tur nav, rāpuļprogramma, visticamāk, to arī neredz.
Pēc tam nāk satura signāli: skaidra īsa atbilde lapas augšdaļā, virsraksti, kas atbilst cilvēku uzdotajiem jautājumiem, nosaukts izdevējs un autors un redzami datumi. Tie negarantē citātu, bet atvieglo lapas pareizu citēšanu.
Kā AISeeWhy to pārbauda?
AISeeWhy ielādē jūsu lapu kā OAI-SearchBot, GPTBot, ChatGPT-User un vēl 11 rāpuļprogrammas līdzās parastam pārlūkam, nolasa jūsu robots.txt pēc RFC 9309 kārtulām un nosauc ugunsmūri, ja tas atbild ar bloķējumu vai pārbaudi. Katram konstatējumam pievienots labojums ielīmēšanai, un bezmaksas pārbaude parāda jūsu vērtējumu un pirmo konstatējumu.
Labojumi šai problēmai
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Avoti
- OpenAI: OpenAI rāpuļprogrammu pārskats
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: MI rāpuļprogrammu pārvaldība (AI Crawl Control)