Miksi sivustoni yhtäkkiä estää tekoälycrawlerit?

Julkaistu

Lyhyt vastaus

Kun sivusto alkaa estää tekoälycrawlereita, muutos on lähes aina tapahtunut jossakin viidestä paikasta: oikeasti tarjottavassa robots.txt:ssä, CDN-asetuksessa, kuten Cloudflaren tekoälycrawlerikäytännöissä, bottisuojauksessa tai nopeusrajoituksessa, hostingin oletuksissa tai robots.txt:ssä, joka nyt vastaa virheellä. Hae tämän päivän robots.txt ja jokin sivu kunakin crawlerina, vertaa niitä selaimeen ja aiempaan tilaan ja tarkista nämä kerrokset tässä järjestyksessä.

Kukaan ei päätä kadota tekoälyvastauksista. Se tapahtuu teemapäivityksen, tietoturva-asetuksen, siirron tai palveluntarjoajan muuttaman oletuksen sivuvaikutuksena. Selain näkee sivuston yhä normaalisti, joten muutos voi jäädä huomaamatta, kunnes joku kysyy ChatGPT:ltä tai Perplexityltä tuotteesta ja saa vastaukseksi kilpailijan. Jokainen kerros jättää jälkiä, jotka voit tarkistaa ulkopuolelta tai lokeistasi.

Tällä sivulla
  1. Muuttuiko crawlereiden saama robots.txt?
  2. Muuttivatko Cloudflaren 2026 tekoälycrawlerikäytännöt sitä, mitä sivustoni sallii?
  3. Pysäyttääkö bottisuojaus tai nopeusrajoitus crawlerit?
  4. Muuttiko hosting-palveluni oletuksiaan?
  5. Vastaako robots.txt virheellä?
  6. Miten selvitän, milloin se alkoi?
  7. Miten huomaan sen ensi kerralla aiemmin?

Muuttuiko crawlereiden saama robots.txt?

Hae https://yourdomain.com/robots.txt ja vertaa sitä repositoriosi tai varmuuskopiosi tiedostoon. Katso tarjottua tiedostoa, älä levyllä olevaa, koska useampi kerros voi muuttaa sitä matkalla:

Google Search Consolen robots.txt-raportti näyttää versiot, jotka Google on hakenut viimeisten 30 päivän aikana, ja uuden rivin aina, kun tiedosto tai haun tulos muuttui. Se kattaa vain sen, mitä Google näki, mutta ellei palvelimesi vaihtele robots.txt:tä user agentin mukaan, tekoälycrawlerit saivat saman tiedoston.

Muuttivatko Cloudflaren 2026 tekoälycrawlerikäytännöt sitä, mitä sivustoni sallii?

Cloudflare on muuttanut tekoälycrawlerien hallintaansa useita kertoja, ja osa muutoksista muuttaa vyöhykkeen (zone) toimintaa ilman, että kukaan muokkaa sitä. 1.7.2025 se alkoi kysyä uusilta verkkotunnuksilta rekisteröitymisen yhteydessä, sallitaanko tekoälycrawlerit, ja lähtötilana oli esto. 1.7.2026 se korvasi yksittäisen Block AI bots -kytkimen erillisillä Search-, Agent- ja Training-käytännöillä kaikissa tilauksissa, myös Free-tilauksessa.

Useimmat sivustot kompastuvat monikäyttöisiin crawlereihin. Cloudflaren dokumentaation mukaan Training-toiminnot koskevat myös crawlereita, joita käytetään sekä hakuun että koulutukseen. Sen heinäkuun 2026 tiedotteen mukaan 15.9.2026 alkaen monikäyttöiset crawlerit, kuten Googlebot, Applebot ja BingBot, estetään asiakkailta, jotka ovat valinneet Trainingin eston, joko uusilla valinnoilla tai vanhalla Block AI bots -asetuksella. Vuosi sitten asetettu koulutuskielto voi siis nyt ulottua hakucrawlereihin.

Uusien verkkotunnusten oletuksia on kuvattu eri aikoina eri tavoin. Sama tiedote kertoi, että uusilla verkkotunnuksilla Training ja Agent estetään mainoksia näyttävillä sivuilla 15.9.2026 alkaen, kun taas 2.11.2026 päivitetty käytäntödokumentaatio sanoo uusien verkkotunnusten alkavan kaikki kolme tilassa Allow. Avaa Security, sitten Settings, suodata Bot traffic -kohdalla ja lue oman vyöhykkeesi AI Crawler and Agent access policies. Oppaamme Cloudflare AI Crawl Controlista selittää jokaisen asetuksen.

Pysäyttääkö bottisuojaus tai nopeusrajoitus crawlerit?

Bottisuojaus arvioi jokaisen pyynnön, ja crawlerit noutavat paljon sivuja nopeasti datakeskuksista, mikä on juuri bottien tapa toimia. Viime kuussa läpi päässyt crawler voi alkaa saada haastesivuja, kun sen ylläpitäjä vaihtaa IP-alueita tai indeksointitahtia tai kun suojaussääntöjä päivitetään. Cloudflaren Bot Fight Mode on yleinen syy, ja Cloudflaren mukaan sitä ei voi ohittaa WAF:n omilla säännöillä tai Page Rules -säännöillä, joten myöhemmin lisätty sallimissääntö ei auta, kun se on päällä. Uusi nopeusrajoitus, joka vastaa ryöppyihin koodilla 429, vaikuttaa kiireiseen crawleriin samoin.

Testaa ulkopuolelta: pyydä sivu selaimena ja kahtena tekoälyhakucrawlerina ja pyydä sitten robots.txt crawlerina.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

403, 429 tai 503 vain crawlerille, sivu otsikolla Just a moment... tai selaimen vastausta paljon pienempi runko tarkoittaa, että crawleria kohdellaan eri tavalla. Testi lähtee sinun IP:stäsi eikä toimittajan, joten varmennettuun bottitilaan perustuvat säännöt voivat silti kohdella oikeaa crawleria toisin. Palomuurin tapahtumaloki näyttää, mikä sääntö vastasi.

Muuttiko hosting-palveluni oletuksiaan?

Osa hosting-palveluista suodattaa tekoälyliikennettä palvelimella ennen omien sääntöjesi suorittamista. Esimerkiksi SiteGround kirjoitti elokuussa 2025 estävänsä oletuksena koulutusdataa keräämään suunnitellut tekoälycrawlerit ja sallivansa crawlerit, jotka käyvät sivulla, kun ihminen kysyy siitä tekoälyavustajalta. Tällaiset säännöt eivät näy robots.txt:ssäsi, ja ne voivat muuttua, kun host päivittää bottiluettelojaan.

Jos esto ilmenee yhtä aikaa usealla saman hostin sivustolla tai vastauksissa, jotka eivät koskaan päädy sovelluksesi lokeihin, kysy hostilta, mitkä bottisäännöt koskevat tiliäsi ja voitko vapauttaa niistä crawlerit, jotka haluat pitää.

Vastaako robots.txt virheellä?

Toimimaton robots.txt voi estää enemmän kuin mikään Disallow-rivi. RFC 9309:n mukaan 4xx-vastaus tarkoittaa, että crawler saa noutaa kaiken, mutta palvelinvirhe (5xx) tai vastauksen puuttuminen tarkoittaa, että sen on oletettava koko sivusto kielletyksi. Google lopettaa indeksoinnin tällaisten virheiden ensimmäisten 12 tunnin ajaksi ja käyttää sitten viimeisintä toimivaa kopiota enintään 30 päivää.

Näin kuormapiikki, palomuurisääntö, joka näyttää haasteen polulle /robots.txt, tai nopeusrajoitus, joka kattaa senkin, voi sulkea hyvätapaiset crawlerit ulos ilman, että yksikään sääntö muuttuu. Yllä olevan testin viimeisen komennon pitäisi palauttaa 200 ja text/plain. 5xx, aikakatkaisu tai haastesivu siinä on ensimmäinen korjattava asia.

Miten selvitän, milloin se alkoi?

Päivämäärä tekee arvoituksesta vertailun. Suodata käyttölokeista tekoälycrawlerien user agenttien pyynnöt ja etsi päivä, jolloin niiden tilakoodit vaihtuivat 200:sta 403:ksi, 429:ksi tai 503:ksi, tai päivä, jolloin ne lakkasivat pyytämästä sivuja luettuaan robots.txt:n; oppaassamme tekoälycrawlerien etsimisestä palvelinlokeista on komennot. CDN:n estämät pyynnöt eivät koskaan päädy alkuperäpalvelimelle, joten tarkista myös CDN. Cloudflaressa AI Crawl Control näyttää tilakoodien jakauman ajan mittaan, ja sen voi suodattaa crawlerin mukaan.

Vertaa sitten päivämäärää julkaisuihin, lisäosa- ja teemapäivityksiin, CDN-asetusten muutoksiin ja palveluntarjoajien tiedotteisiin. Varmista ennen toimenpiteitä, että lähde-IP:t kuuluvat toimittajalle, jotta tarkastelet oikeaa crawleria etkä sen nimeä käyttävää huijaria.

Miten huomaan sen ensi kerralla aiemmin?

Tarkista pääsy jokaisen julkaisun, CDN-muutoksen ja lisäosapäivityksen jälkeen, ei vain liikenteen laskiessa. Ilmainen AISeeWhy-tarkistus noutaa sivun 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, soveltaa robots.txt:täsi crawler kerrallaan ja tunnistaa palomuurien haastesivut. Ilmainen robots.txt-tarkistin näyttää crawler kerrallaan, saako sivun noutaa tänään voimassa olevan tiedoston mukaan.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Miksi ChatGPT lakkasi näyttämästä sivustoani?

Usein siksi, että OAI-SearchBot, ChatGPT-haun takana oleva crawler, estyi robots.txt-muutoksen, CDN-käytännön tai bottisuojauksen vuoksi. OpenAI:n mukaan sen estävät sivustot eivät näy ChatGPT-haun vastauksissa. Tarkista jokainen kerros tämän crawlerin osalta ja odota robots.txt-korjauksen jälkeen noin 24 tuntia, sillä OpenAI:n mukaan sen järjestelmät tarvitsevat sen verran aikaa mukautuakseen.

Alkoiko Cloudflare estää Googlebotin sivustollani?

Se on mahdollista. Cloudflare ilmoitti, että 15.9.2026 alkaen Trainingin estävät asiakkaat estävät myös monikäyttöiset crawlerit, kuten Googlebotin, Applebotin ja BingBotin. Sen dokumentaation mukaan Training Disallow -valinta estää koulutuscrawlerit verkon reunalla mutta jättää monikäyttöiset crawlerit ulkopuolelle, joten tarkista, mitä valintaa vyöhykkeesi käyttää.

Voiko sivustorakentaja tai lisäosa muuttaa robots.txt:tä puolestani?

Voi. Sivustorakentajat sekä SEO- ja tietoturvalisäosat voivat kirjoittaa robots.txt:hen tekoälycrawlerisääntöjä, ja osa laajentaa bottiluetteloaan ajan mittaan. Hae jokaisen päivityksen jälkeen voimassa oleva tiedosto ja lue ryhmät, jotka koskevat sinulle tärkeitä hakucrawlereita.

Miksi julkinen robots.txt-tiedostoni eroaa palvelimeni tiedostosta?

Jokin palvelimesi edessä muuttaa sitä. Esimerkiksi Cloudflaren hallittu robots.txt lisää omat sääntönsä ja content signalit tiedostosi alkuun samassa vastauksessa. Myös robots.txt:n pyynnöstä luova julkaisujärjestelmä tai hostin asetus voi korvata tai laajentaa sitä.

Kuinka kauan kestää, ennen kuin tekoälycrawlerit palaavat korjauksen jälkeen?

RFC 9309:n mukaan crawlerien ei pidä käyttää välimuistissa olevaa robots.txt:tä yli 24 tuntia, OpenAI puhuu noin 24 tunnista ja Perplexity enintään 24 tunnista. Palomuurimuutokset tulevat voimaan heti, kun palveluntarjoajasi ottaa ne käyttöön, mutta crawlerit palaavat omassa tahdissaan.

Lähteet

Lisää artikkeleita