AISeeWhy
RO
Începe proba gratuită

Crawlerele OpenAI explicate: GPTBot, OAI-SearchBot și ChatGPT-User

Publicat

Răspuns scurt

OpenAI folosește GPTBot pentru a colecta conținut care poate antrena modelele sale, OAI-SearchBot pentru a indexa pagini pentru căutarea ChatGPT și ChatGPT-User pentru vizitele cerute de o persoană. Blocarea GPTBot te scoate doar din antrenare. Blocarea OAI-SearchBot te scoate din răspunsurile de căutare ChatGPT. robots.txt poate să nu se aplice pentru ChatGPT-User.

Trei user agent-uri diferite de la aceeași companie, fiecare cu propriul token în robots.txt, creează multă confuzie. Multe site-uri l-au blocat pe GPTBot când a apărut, iar unele au aflat mai târziu că au blocat și crawlerul care decide dacă ChatGPT le poate cita, adesea printr-o regulă largă de firewall. Acest articol trece prin fiecare agent pe baza documentației OpenAI.

Pe această pagină
  1. Ce face GPTBot?
  2. Ce face OAI-SearchBot?
  3. Ce face ChatGPT-User?
  4. Ce se întâmplă dacă îl blochez pe fiecare?
  5. Ce robots.txt să folosesc pentru crawlerele OpenAI?
  6. Cum confirm că firewall-ul îi lasă să treacă?

Ce face GPTBot?

GPTBot parcurge conținut care poate fi folosit pentru antrenarea modelelor de bază de AI generativ ale OpenAI. Documentația OpenAI spune că interzicerea GPTBot indică faptul că conținutul unui site nu trebuie folosit la antrenarea acestor modele.

User agent-ul său conține tokenul GPTBot, de exemplu Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI notează că numărul versiunii se poate schimba, așa că potrivește după token, nu după șirul complet. OpenAI publică intervalele sale IP la openai.com/gptbot.json.

Dacă îl permiți sau nu este o decizie de politică. Unii editori vor ca conținutul lor să fie în datele de antrenare, alții nu. Blocarea lui nu afectează căutarea ChatGPT, pentru că aceasta folosește alt crawler. Dacă te răzgândești mai târziu, e suficient să elimini linia Disallow; nu trebuie să te înregistrezi sau să ceri nimic.

Ce face OAI-SearchBot?

OAI-SearchBot este crawlerul de căutare al OpenAI. El aduce site-urile în funcțiile de căutare din ChatGPT. OpenAI afirmă clar că site-urile care au ales să iasă din OAI-SearchBot nu vor fi afișate în răspunsurile de căutare din ChatGPT.

Dacă vrei ca ChatGPT să-ți citeze paginile, acesta este crawlerul pe care trebuie să-l permiți, atât în robots.txt, cât și în firewall. Intervalele sale IP sunt publicate la openai.com/searchbot.json, ceea ce permite unui firewall să verifice că o cerere vine cu adevărat de la OpenAI.

Ce face ChatGPT-User?

ChatGPT-User nu este un crawler în sensul obișnuit. Preia o pagină atunci când un utilizator ChatGPT sau un GPT personalizat o cere, de exemplu când cineva lipește URL-ul tău într-o conversație și cere un rezumat. OpenAI spune că nu este folosit pentru parcurgerea automată a web-ului.

Două detalii din documentația OpenAI contează aici. În primul rând, deoarece aceste acțiuni sunt inițiate de un utilizator, regulile din robots.txt pot să nu se aplice. În al doilea rând, ChatGPT-User nu este folosit pentru a stabili dacă un conținut poate apărea în căutare. Pentru căutare, setarea care contează este cea pentru OAI-SearchBot.

Ce se întâmplă dacă îl blochez pe fiecare?

OpenAI mai notează că, atunci când atât GPTBot, cât și OAI-SearchBot sunt permiși, poate folosi rezultatele unei singure parcurgeri în ambele scopuri, ca să nu parcurgă site-ul de două ori.

Ce robots.txt să folosesc pentru crawlerele OpenAI?

Pentru majoritatea site-urilor care vor să apară în răspunsurile ChatGPT, permite crawlerul de căutare și decide separat în privința antrenării. Acest fișier permite căutarea și refuză antrenarea:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Reține un detaliu din RFC 9309: un crawler urmează grupul care îl menționează și ignoră grupul *. În exemplul de mai sus, OAI-SearchBot ar avea voie în /admin/, deoarece grupul său nu are linia Disallow: /admin/. Repetă în fiecare grup numit căile pe care vrei să le păstrezi private. OpenAI spune că modificările pentru căutare pot dura aproximativ 24 de ore până se aplică.

Cum confirm că firewall-ul îi lasă să treacă?

robots.txt doar enunță politica ta. Firewall-ul sau CDN-ul decide ce primește de fapt fiecare cerere. Cere o pagină cu user agent-ul fiecărui crawler și compară codul de stare și dimensiunea corpului cu o cerere din browser. Un 403, un 429 sau o pagină de verificare pentru crawler, cu o pagină normală pentru browser, înseamnă că firewall-ul îți anulează robots.txt.

AISeeWhy rulează această comparație pentru toți cei trei agenți OpenAI deodată, marchează blocarea OAI-SearchBot și ChatGPT-User ca P1, pentru că te costă citări, și listează un GPTBot blocat ca alegere de politică P3, nu ca eroare.

Întrebări frecvente

Este GPTBot același lucru cu ChatGPT?

Nu. GPTBot este un crawler pentru date de antrenare. Căutarea ChatGPT folosește OAI-SearchBot, iar vizitele live cerute de utilizatori vin de la ChatGPT-User.

Pot permite căutarea ChatGPT și bloca antrenarea?

Da. Permite OAI-SearchBot și interzice GPTBot în robots.txt. OpenAI documentează cele două setări ca fiind independente.

Ar trebui să blochez OpenAI după adresa IP?

Blocarea după IP împiedică crawlerul să-ți citească robots.txt și face politica mai greu de schimbat. De obicei e mai bine să enunți politica în robots.txt și să folosești intervalele IP publicate pentru a verifica, nu pentru a bloca, crawlerele OpenAI.

De ce să potrivesc după token și nu după user agent-ul complet?

OpenAI spune că numărul versiunii din user agent-urile sale se poate schimba, iar șirurile-exemplu publicate diferă de la un crawler la altul. Regulile care potrivesc GPTBot sau OAI-SearchBot continuă să funcționeze după o actualizare; cele care potrivesc șirul exact pot înceta să se potrivească fără niciun semn.

Surse

Alte articole