AISeeWhy
FI
Aloita ilmainen kokeilu

OpenAI:n crawlerit selitettynä: GPTBot, OAI-SearchBot ja ChatGPT-User

Julkaistu

Lyhyt vastaus

OpenAI käyttää GPTBotia kerätäkseen sisältöä, jolla voidaan kouluttaa sen malleja, OAI-SearchBotia sivujen indeksointiin ChatGPT-hakua varten ja ChatGPT-Useria vierailuihin, joita ihminen pyytää. GPTBotin estäminen kieltää vain koulutuskäytön. OAI-SearchBotin estäminen poistaa sinut ChatGPT:n hakuvastauksista. robots.txt ei välttämättä koske ChatGPT-Useria.

Kolme eri user agentia samalta yritykseltä, joilla jokaisella on oma robots.txt-tokeninsa, aiheuttaa paljon sekaannusta. Moni sivusto esti GPTBotin, kun se ilmestyi, ja osa huomasi myöhemmin estäneensä samalla myös crawlerin, joka ratkaisee, voiko ChatGPT lainata niitä, usein laajan palomuurisäännön kautta. Tämä artikkeli käy läpi jokaisen agentin OpenAI:n oman dokumentaation pohjalta.

Tällä sivulla
  1. Mitä GPTBot tekee
  2. Mitä OAI-SearchBot tekee
  3. Mitä ChatGPT-User tekee
  4. Mitä tapahtuu, kun estän kunkin niistä
  5. Millaista robots.txt:ä käytän OpenAI:n crawlereille
  6. Miten varmistan, että palomuuri päästää ne läpi

Mitä GPTBot tekee

GPTBot hakee sisältöä, jota voidaan käyttää OpenAI:n generatiivisten tekoälyperusmallien kouluttamiseen. OpenAI:n dokumentaation mukaan GPTBotin estäminen ilmaisee, ettei sivuston sisältöä pidä käyttää näiden mallien kouluttamiseen.

Sen user agent sisältää tokenin GPTBot, esimerkiksi Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI huomauttaa, että versionumero voi muuttua, joten vertaa tokeniin, älä koko merkkijonoon. OpenAI julkaisee IP-alueensa osoitteessa openai.com/gptbot.json.

Se, sallitaanko se, on linjauskysymys. Jotkin julkaisijat haluavat sisältönsä koulutusdataan, toiset eivät. Sen estäminen ei vaikuta ChatGPT-hakuun, koska se on eri crawler. Jos muutat mieltäsi myöhemmin, riittää, että poistat Disallow-rivin; mitään ei tarvitse rekisteröidä tai pyytää.

Mitä OAI-SearchBot tekee

OAI-SearchBot on OpenAI:n hakucrawler. Se tuo sivustoja esiin ChatGPT:n hakuominaisuuksissa. OpenAI toteaa suoraan, että sivustoja, jotka ovat kieltäytyneet OAI-SearchBotista, ei näytetä ChatGPT:n hakuvastauksissa.

Jos haluat ChatGPT:n lainaavan sivujasi, tämä on crawler, joka kannattaa sallia sekä robots.txt:ssä että palomuurissa. Sen IP-alueet on julkaistu osoitteessa openai.com/searchbot.json, jolloin palomuuri voi varmistaa, että pyyntö todella tulee OpenAI:lta.

Mitä ChatGPT-User tekee

ChatGPT-User ei ole crawler tavallisessa mielessä. Se noutaa sivun, kun ChatGPT:n käyttäjä tai Custom GPT pyytää sitä, esimerkiksi kun joku liittää URL-osoitteesi keskusteluun ja pyytää tiivistelmää. OpenAI sanoo, ettei sitä käytetä verkon automaattiseen läpikäyntiin.

OpenAI:n dokumentaatiosta on tässä kaksi tärkeää yksityiskohtaa. Ensiksi, koska käyttäjä käynnistää nämä toiminnot, robots.txt-säännöt eivät välttämättä päde. Toiseksi ChatGPT-Useria ei käytetä päättämään, voiko sisältö näkyä haussa. Haun kannalta ratkaisevaa on OAI-SearchBotin asetus.

Mitä tapahtuu, kun estän kunkin niistä

OpenAI huomauttaa myös, että kun sekä GPTBot että OAI-SearchBot on sallittu, se voi käyttää yhden läpikäynnin tuloksia molempiin tarkoituksiin välttääkseen sivun läpikäynnin kahdesti.

Millaista robots.txt:ä käytän OpenAI:n crawlereille

Useimmille sivustoille, jotka haluavat näkyä ChatGPT-vastauksissa, kannattaa sallia hakucrawler ja päättää koulutuksesta erikseen. Tämä tiedosto sallii haun ja kieltäytyy koulutuksesta:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Huomaa RFC 9309:n yksityiskohta: crawler noudattaa ryhmää, jossa se mainitaan, ja ohittaa ryhmän *. Yllä olevassa esimerkissä OAI-SearchBot pääsisi hakemistoon /admin/, koska sen omassa ryhmässä ei ole riviä Disallow: /admin/. Toista yksityisinä pidettävät polut jokaisessa nimetyssä ryhmässä. OpenAI sanoo, että hakumuutosten voimaantulo voi kestää noin 24 tuntia.

Miten varmistan, että palomuuri päästää ne läpi

robots.txt kertoo vain linjauksesi. Palomuuri tai CDN ratkaisee, mitä kukin pyyntö todella saa. Pyydä sivu kunkin crawlerin user agentilla ja vertaa tilakoodia ja vastauksen kokoa selainpyyntöön. Jos crawler saa 403-, 429- tai haastesivun ja selain normaalin sivun, palomuuri ohittaa robots.txt:si.

AISeeWhy tekee tämän vertailun kaikille kolmelle OpenAI-agentille kerralla, merkitsee OAI-SearchBotin ja ChatGPT-Userin estot P1:ksi, koska ne maksavat lainauksia, ja listaa estetyn GPTBotin P3-linjausvalinnaksi virheen sijaan.

Usein kysytyt kysymykset

Onko GPTBot sama asia kuin ChatGPT?

Ei. GPTBot on koulutusdataa keräävä crawler. ChatGPT-haku käyttää OAI-SearchBotia, ja käyttäjien pyytämät reaaliaikaiset vierailut tulevat ChatGPT-Userilta.

Voinko sallia ChatGPT-haun mutta estää koulutuksen?

Voit. Salli OAI-SearchBot ja estä GPTBot robots.txt:ssä. OpenAI dokumentoi nämä kaksi asetusta riippumattomiksi.

Pitäisikö minun estää OpenAI IP-osoitteen perusteella?

IP-esto estää crawleria lukemasta robots.txt:äsi ja vaikeuttaa linjauksen muuttamista. Yleensä on parempi ilmoittaa linjaus robots.txt:ssä ja käyttää julkaistuja IP-alueita OpenAI:n crawlerien varmentamiseen, ei niiden estämiseen.

Miksi vertailu kannattaa tehdä tokeniin eikä koko user agentiin?

OpenAI sanoo, että user agentien versionumero voi muuttua ja julkaistut esimerkkimerkkijonot eroavat crawlerien välillä. Säännöt, jotka vertaavat tokeniin GPTBot tai OAI-SearchBot, toimivat päivityksen jälkeenkin; säännöt, jotka vertaavat täsmälleen merkkijonoon, voivat huomaamatta lakata osumasta.

Lähteet

Lisää artikkeleita