GPTBot

OpenAI · AI training

Ang GPTBot ang crawler ng OpenAI para sa content na maaaring gamitin sa training ng mga generative AI foundation model nito. Sinasabi ng pag-disallow dito sa robots.txt sa OpenAI na huwag gamitin ang content mo para sa training. Hindi ka inaalis ng pag-block dito sa mga sagot ng ChatGPT search, na nakadepende sa OAI-SearchBot.

Paano ito papayagan

User-agent: GPTBot
Allow: /

Paano ito iba-block

User-agent: GPTBot
Disallow: /

Ano ang ginagawa nito

Sinasabi ng OpenAI na ginagamit ang GPTBot para gawing mas kapaki-pakinabang at ligtas ang mga generative AI foundation model nito. Kino-crawl nito ang content na maaaring gamitin sa training ng mga model na iyon, at ang pag-disallow sa GPTBot ay nagsasaad na hindi dapat gamitin sa training ang content ng site.

Desisyon sa patakaran ang pagpayag dito, hindi sa visibility. Hiwalay na crawler, ang OAI-SearchBot, ang ginagamit ng ChatGPT search, at idinodokumento ng OpenAI na magkahiwalay ang dalawang setting. Kapag parehong pinapayagan, sinasabi ng OpenAI na maaari nitong gamitin ang resulta ng isang crawl para sa dalawang layunin para maiwasan ang dobleng pag-crawl.

Sa pag-aaral namin noong 2026-11, 21.4% ng mga sikat na site na may robots.txt ang nag-block dito. →

Token sa robots.txt

GPTBot

User-agent string

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Paano beripikahin ang totoong pagbisita

Inilalathala ng OpenAI bilang JSON file ang mga IP range na ginagamit ng agent na ito. Itugma ang source IP ng request sa mga range na iyon; hindi galing sa OpenAI ang request na nagpapangalan sa GPTBot pero galing sa ibang address. Ayon sa OpenAI, maaaring magbago ang version number sa user agent, kaya itugma ang token na GPTBot sa halip na ang buong string.

Tingnan kung pinapapasok ito ng site mo →

Mga crawler ng OpenAI, ipinaliwanag: GPTBot, OAI-SearchBot at ChatGPT-User →