Näkeekö ChatGPT sivustoni? Näin tarkistat

Julkaistu 2026-11-12

Lyhyt vastaus

ChatGPT voi lainata sivuasi vain, jos OpenAI:n hakucrawler OAI-SearchBot saa noutaa sen ja saa saman HTML:n kuin selain. Tarkista kolme asiaa: robots.txt ei estä OAI-SearchBotia, palomuurisi tai CDN ei vastaa sille 403-virheellä tai haastesivulla, ja pääteksti on alkuperäisessä HTML:ssä.

Moni sivuston omistaja kysyy ChatGPT:ltä omasta tuotteestaan, näkee kilpailijan tulevan lainatuksi ja miettii, pääseekö ChatGPT sivustolle lainkaan. Kysymykseen on konkreettinen, testattavissa oleva vastaus. OpenAI julkaisee crawlerinsa nimet ja sen, mitä kukin tekee, joten voit tarkistaa ketjun jokaisen lenkin: robots.txt-säännöt, palvelimesi lähettämän vastauksen ja sen sisällön.

Tällä sivulla

Mitkä OpenAI:n crawlerit ovat tärkeitä ChatGPT-vastauksissa
Miten tarkistan robots.txt:n ChatGPT:tä varten
Voiko palomuuri estää ChatGPT:n, vaikka robots.txt sallii sen
Miten testaan, mitä OAI-SearchBot saa
Entä jos sivu latautuu mutta ChatGPT ei silti sano mitään hyödyllistä
Miten AISeeWhy tarkistaa tämän

Mitkä OpenAI:n crawlerit ovat tärkeitä ChatGPT-vastauksissa

OpenAI dokumentoi kolme agenttia, jotka sivustojen omistajat yleensä kohtaavat. Niillä on eri tehtävät, eikä yhden estäminen estä muita. OpenAI toteaa, että jokainen robots.txt-asetus on riippumaton muista.

OAI-SearchBot löytää ja indeksoi sivuja ChatGPT:n hakuominaisuuksia varten. OpenAI sanoo, että sivustoja, jotka ovat kieltäytyneet siitä, ei näytetä ChatGPT:n hakuvastauksissa. Tämä ratkaisee, voidaanko sinua lainata.
GPTBot kerää sisältöä, jota voidaan käyttää OpenAI:n perusmallien kouluttamiseen. Sen estäminen kertoo, ettei sisältöäsi saa käyttää koulutukseen. Se ei poista sinua hakuvastauksista.
ChatGPT-User vierailee sivulla, kun ihminen pyytää ChatGPT:tä tekemään niin, esimerkiksi liittämällä linkin. OpenAI sanoo, etteivät robots.txt-säännöt välttämättä koske näitä käyttäjän käynnistämiä vierailuja ja ettei agenttia käytetä päättämään, näkyykö sisältö haussa.

Lyhyesti: OAI-SearchBot ohjaa lainauksia, GPTBot koulutusta ja ChatGPT-User hoitaa käyttäjän pyynnöstä tehtävät reaaliaikaiset vierailut.

Miten tarkistan robots.txt:n ChatGPT:tä varten

Avaa https://yourdomain.com/robots.txt selaimessa. Etsi ryhmä, jossa mainitaan OAI-SearchBot. Jos sellaista ei ole, crawler noudattaa ryhmää User-agent: *. Sovellettavan ryhmän Disallow: / estää koko sivuston.

Tarkista myös, että tiedosto ylipäätään vastaa. RFC 9309:n mukaan crawlerin on oletettava koko sivusto kielletyksi, jos robots.txt palauttaa palvelinvirheen (5xx) tai sitä ei tavoiteta. 404 on kunnossa: se tarkoittaa, ettei sääntöjä ole. Yleinen virhe on robots.txt-osoite, joka palauttaa HTML-sivun tilakoodilla 200, koska crawlerit eivät silloin löydä siitä kelvollisia sääntöjä.

Asetus, joka pitää ChatGPT-haun päällä mutta kieltäytyy koulutuksesta, näyttää tältä:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI sanoo, että hakuun liittyvien muutosten voimaantulo voi kestää noin 24 tuntia robots.txt:n päivityksestä.

Voiko palomuuri estää ChatGPT:n, vaikka robots.txt sallii sen

Voi, ja se on yleinen syy. robots.txt on pyyntö hyvätapaisille crawlereille, ei pääsynhallintaa. Palomuurisi, CDN tai bottisuojauksesi ratkaisee, mitä todella lähetetään takaisin. Jos se kohtelee tekoälycrawleria ei-toivottuna bottina, crawler saa 403-, 429- tai haastesivun, esimerkiksi Cloudflaren ”Just a moment...” -näytön, kun taas selaimen käyttäjät näkevät sivun normaalisti.

Ulkoapäin sivusto näyttää olevan avoin kaikille. Eron näyttää vain pyyntö, joka tunnistautuu crawleriksi. Silloin robots.txt sanoo kyllä, palvelin sanoo ei, ja palvelin voittaa.

Miten testaan, mitä OAI-SearchBot saa

Lähetä kaksi pyyntöä samaan URL-osoitteeseen, toinen selaimen user agentilla ja toinen crawlerin user agentilla, ja vertaa tilakoodia ja kokoa. OpenAI julkaisee esimerkki-user agentin jokaiselle crawlerille; sen versionumero voi muuttua.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jos selain saa vastauksen 200 ja suuren sisällön ja crawler saa 403, 429, 503 tai paljon pienemmän sisällön, palomuurisi kohtelee crawleria eri tavalla. Yksi rajoitus on: testisi tulee omasta IP-osoitteestasi, ei OpenAI:n osoitteesta. Palomuurit, jotka tarkistavat crawlerit julkaistuja IP-alueita vasten (OpenAI listaa ne osoitteessa openai.com/searchbot.json), voivat päästää oikean crawlerin läpi mutta estää testisi. Esto tässä testissä kertoo silti, miten palomuuri kohtelee user agentia, ja se kannattaa korjata.

Entä jos sivu latautuu mutta ChatGPT ei silti sano mitään hyödyllistä

Pääsy on vasta ensimmäinen askel. Jos perille tuleva HTML on tyhjä kuori, jonka JavaScript täyttää myöhemmin, crawler saattaa saada lähes ei yhtään tekstiä. Katso raaka HTML komennolla curl tai selaimen view-sourcella: jos pääteksti ei ole siinä, crawlerkaan tuskin näkee sitä.

Sen jälkeen tulevat sisältösignaalit: selkeä lyhyt vastaus sivun alussa, otsikot, jotka vastaavat ihmisten kysymyksiä, nimetty julkaisija ja kirjoittaja sekä näkyvät päivämäärät. Ne eivät takaa lainausta, mutta ne helpottavat sivun lainaamista oikein.

Miten AISeeWhy tarkistaa tämän

AISeeWhy noutaa sivusi crawlereina OAI-SearchBot, GPTBot, ChatGPT-User ja 11 muuta sekä tavallisena selaimena, lukee robots.txt:si RFC 9309:n säännöillä ja nimeää palomuurin, kun jokin vastaa esto- tai haastesivulla. Jokaiseen havaintoon kuuluu liitettävä korjaus, ja ilmainen tarkistus näyttää pisteesi ja ensimmäisen havainnon.

Usein kysytyt kysymykset

Poistaako GPTBotin estäminen sivustoni ChatGPT-hausta?

Ei. OpenAI käsittelee jokaista crawler-asetusta riippumattomana. GPTBot liittyy koulutukseen, kun taas OAI-SearchBot ratkaisee, voidaanko sivuja näyttää ChatGPT:n hakuvastauksissa. Voit kieltää toisen ja sallia toisen.

Noudattaako ChatGPT-User robots.txt:ä?

OpenAI sanoo, että koska nämä vierailut käynnistää käyttäjä, robots.txt-säännöt eivät välttämättä päde. Jos haluat estää nämä vierailut, robots.txt-sääntö ei ole luotettava keino.

Kuinka kauan kestää, ennen kuin robots.txt-muutos tavoittaa ChatGPT:n?

OpenAI sanoo, että järjestelmien mukautuminen hakua varten voi kestää noin 24 tuntia robots.txt:n päivityksestä.

Riittääkö, että sivu on tavoitettavissa, lainatuksi tulemiseen?

Ei. Pääsy tekee lainauksen mahdolliseksi, mutta ei takaa sitä. Se, mitä sivu sanoo ja kuinka selvästi, ratkaisee edelleen, käytetäänkö sitä vastauksessa.