Näin tarkistat, estääkö sivusto tekoälycrawlerit

Liitä mikä tahansa osoite ja näe, estääkö se GPTBotin, ClaudeBotin, PerplexityBotin ja muut tekoälycrawlerit: robots.txt:ssä, palomuurissa vai molemmissa.

Ilmainen · Ei rekisteröitymistä · Tulos 30 sekunnissa

Mitkä crawlerit on estetty

Koulutus-, haku- ja käyttäjäcrawlerit näytetään erikseen, koska GPTBotin estäminen ei estä OAI-SearchBotia eikä ClaudeBotin estäminen estä Claude-SearchBotia.

Ratkaiseva rivi

Jokaisen crawlerin kohdalla robots.txt luetaan RFC 9309 -sääntöjen mukaan: ryhmä, jossa crawler mainitaan, tai varavaihtoehtona User-agent: *, sekä voittava sääntö.

Palomuurin torjunnat

Sivu noudetaan 14 crawlerina ja tavallisena selaimena. Estot ja haastesivut merkitään, ja vastanneen palomuurin nimi kerrotaan.

Korjaus jokaiseen löydökseen

Jokaiseen löydökseen kuuluu tehtävä muutos. Ilmainen tarkistus näyttää pisteesi ja ensimmäisen löydöksen; koko raportti maksaa $29 kerta-maksuna.

Lyhyt vastaus

Sivusto voi estää tekoälycrawlerit kahdessa paikassa: robots.txt:ssä, joka pyytää crawlereita pysymään poissa, ja palvelimella tai palomuurissa, joka oikeasti torjuu ne. Etsi robots.txt:stä kunkin crawlerin tokenin ryhmä ja, jos sitä ei ole, ryhmä User-agent: *. Nouda sitten sivu crawlerina ja vertaa sitä siihen, mitä selain saa. Selainlaajennus tekee robots.txt-osuuden 16 tekoälycrawlerille yhdellä napsautuksella.

Tarkista käsin kolmessa vaiheessa

  1. Valitse crawler

    Jokaisella tekoälyyrityksellä on omat crawlerinsa. Koulutus: GPTBot, ClaudeBot. Haku: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Käyttäjän pyynnöstä: ChatGPT-User, Claude-User, Perplexity-User.

  2. Lue sitä koskeva robots.txt

    Avaa https://example.com/robots.txt ja etsi ryhmä, jossa crawler mainitaan. Jos sellaista ei ole, käytetään ryhmää User-agent: *; jos ei ole kumpaakaan, kaikki on sallittu.

  3. Nouda sivu crawlerina

    Pyydä sivu crawlerin user agentilla ja vertaa tilaa ja kokoa selaimen saamiin. 403, haastesivu tai selvästi pienempi 200-vastaus tarkoittaa, että palomuuri torjuu crawlerin.

Usein kysytyt kysymykset

Onko sivusto ilman robots.txt:tä avoin tekoälycrawlereille?

On, robots.txt:n osalta. Jos robots.txt palauttaa 404:n, sääntöjä ei ole, joten jokainen crawler saa noutaa jokaisen sivun. Palomuuri voi silti estää crawlereita.

Näyttääkö laajennus palomuurin estot?

Ei. Se lukee robots.txt:n selaimestasi, mikä kertoo, mitä sivusto pyytää crawlereilta. Palomuurin ja bottisuojauksen estojen näkemiseen tarvitaan crawlerina lähetetty pyyntö, ja sen tekee aiseewhy.comin täysi tarkistus.

Voinko tarkistaa sivuston, joka ei ole omani?

Voit. robots.txt on julkinen, ja laajennus lukee vain sivuston julkaisemat robots.txt- ja llms.txt-tiedostot, samat tiedostot, jotka jokainen crawler lukee.

Lue koko opas

Tarkistatpa omaa sivustoasi muutoksen jälkeen tai katsot jonkun muun sivustoa ennen kuin luotat siihen, kysymykseen ”estääkö tämä sivusto tekoälycrawlerit?” on tarkka vastaus. Se riippuu siitä, mitä crawleria tarkoitat, koska tekoälyyhtiöillä on erilliset crawlerit koulutukseen, hakuun ja reaaliaikaisiin käynteihin, ja sivusto voi kohdella jokaista eri tavalla. Tämä opas näyttää kolme tarkistusta nopeimmasta kattavimpaan.

Missä sivusto voi estää tekoälycrawlerit

Kerroksia on kolme, ja crawlerin on päästävä kaikkien läpi voidakseen käyttää sivua.

  • robots.txt: julkinen sääntötiedosto, jonka hyvätapaiset crawlerit lukevat ennen kuin noutavat mitään. Se on pyyntö, ei lukko.
  • Palvelin, CDN tai palomuuri: se ratkaisee, mitä todella lähetetään takaisin. Bottisuojauksen sääntö voi vastata crawlerille 403- tai 429-koodilla tai haastesivulla, vaikka robots.txt sallisi sen.
  • Itse sivu: jos pääteksti ilmestyy vasta JavaScriptin suorittamisen jälkeen, alkuperäistä HTML:ää lukeva crawler saa lähes tyhjän sivun, vaikka mikään ei estänyt sitä.

Useimmat pikatarkistukset katsovat vain ensimmäistä kerrosta. Se on hyvä alku, kunhan muistat kaksi muuta.

Miten luen robots.txt:n yhden tekoälycrawlerin kannalta

Avaa https://example.com/robots.txt selaimessa ja etsi ryhmä, joka koskee crawleria. Ryhmä alkaa yhdellä tai useammalla User-agent-rivillä. Crawler käyttää ryhmää, jossa mainitaan sen token, esimerkiksi GPTBot; kirjainkoolla ei ole väliä. Jos mikään ryhmä ei mainitse sitä, se käyttää ryhmää User-agent: *. Jos kumpaakaan ei ole, kaikki on sallittua.

Ryhmän sisällä voittaa sääntö, jonka täsmäävä polku on pisin, ja kun Allow ja Disallow ovat yhtä pitkät, Allow voittaa. Alla oleva tiedosto siis estää GPTBotin koko sivustolta mutta päästää kaikki muut crawlerit sisään:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Katso myös, miten tiedosto vastaa. RFC 9309:n mukaan 404 tarkoittaa, ettei sääntöjä ole, joten kaikki on sallittua. Palvelinvirhe (5xx) tai vastauksen puuttuminen tarkoittaa, että crawlerin on pidettävä koko sivustoa kiellettynä. Yleinen virhe on robots.txt-osoite, joka palauttaa HTML-sivun: crawlerit eivät löydä siitä kelvollisia sääntöjä.

Miten tarkistan kaikki tekoälycrawlerit kerralla

Tiedoston lukeminen käsin käy hitaaksi heti, kun sinua kiinnostaa useampi kuin yksi crawler. Jokaisella tekoälyyhtiöllä on useita crawlereita eri tehtäviin:

  • Koulutuscrawlerit keräävät sisältöä mallien koulutukseen: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent sekä tokenit Google-Extended ja Applebot-Extended, jotka näkyvät vain robots.txt:ssä.
  • Hakucrawlerit indeksoivat sivuja, jotta tekoälyvastaukset voivat lainata niitä: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Käyttäjäcrawlerit noutavat sivun, kun ihminen pyytää sitä avustajalta: ChatGPT-User, Claude-User, Perplexity-User.

Ilmainen Tekoälyrobottien tarkistin -laajennus Chromelle tekee tämän yhdellä napsautuksella. Avaa mikä tahansa sivu ja napsauta kuvaketta, niin laajennus lukee sivuston robots.txt:n ja näyttää jokaiselle 16 crawlerista, onko sivu sallittu ja mikä rivi sen ratkaisee. Se näyttää myös Content-Signal-asetukset, onko sivustolla llms.txt-tiedosto ja robots.txt:ssä luetellut sivustokartat. Se toimii selaimessasi, ei vaadi tiliä ja lukee vain sen sivuston, jolla napsautat sitä.

Ilman Chromea aiseewhy.comin ilmainen robots.txt-tarkistin antaa saman vastauksen liittämällesi URL-osoitteelle.

Miten tarkistan, päästääkö palomuuri ne läpi

robots.txt näyttää, mitä sivusto pyytää. Nähdäksesi, mitä crawler todella saa, pyydä sivu kahdesti, kerran selaimena ja kerran crawlerin user agentilla, ja vertaa tilakoodia ja vastauksen kokoa:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jos selain saa 200:n ja crawler 403:n, 429:n tai 503:n tai paljon pienemmän sivun, palomuuri tai bottisuojaus kohtelee crawleria eri tavalla. Jokaisella ulkoisella testillä on yksi rajoitus: se tulee sinun verkostasi, ei tekoälyyhtiön verkosta. Palomuuri, joka luottaa crawlereihin niiden julkaistujen IP-osoitteiden perusteella, voi kohdella oikeaa crawleria eri tavalla, joten viimeinen sana on palvelimesi lokeilla.

aiseewhy.comin täysi tarkistus noutaa sivun kaikkina 16 crawlerina oikean selaimen rinnalla, nimeää palomuurin tai säännön, joka estää crawlerin, ja vertaa tekstiä, jonka kukin sai.

Mihin tulokseen kannattaa pyrkiä

Se riippuu siitä, mitä haluat. Jos haluat tulla lainatuksi ChatGPT-haussa, Claudessa ja Perplexityssä, haku- ja käyttäjäcrawlerit on sallittava robots.txt:ssä, ja niiden on saatava palvelimelta oikea sivu. Jos et halua sisältöäsi käytettävän koulutukseen, estä vain koulutustokenit. Nämä ovat erillisiä valintoja: GPTBotin estäminen ei estä OAI-SearchBotia, eikä ClaudeBotin estäminen estä Claude-SearchBotia.

Moni sivusto sekoittaa ne. Marraskuun 2026 raportissamme 1 000 suosituimmasta verkkotunnuksesta 63 % sivustoista, jotka estävät koulutuscrawlerin, estää myös vähintään yhden tekoälyn haku- tai käyttäjäcrawlerin, jolloin niiden sivut jäävät pois noista tekoälyvastauksista.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Lähteet

Lisää artikkeleita

Julkaistu