GPTBot

OpenAI · Mafunzo ya AI

GPTBot ni crawler ya OpenAI kwa maudhui yanayoweza kutumika kufunza foundation models zake za AI zalishi. Kuizuia kwenye robots.txt kunaiambia OpenAI isitumie maudhui yako kwa mafunzo. Kuizuia hakukuondoi kwenye majibu ya utafutaji wa ChatGPT, ambayo yanategemea OAI-SearchBot.

Jinsi ya kuiruhusu

User-agent: GPTBot
Allow: /

Jinsi ya kuizuia

User-agent: GPTBot
Disallow: /

Inafanya nini

OpenAI inasema GPTBot inatumika kufanya foundation models zake za AI zalishi ziwe na manufaa zaidi na salama zaidi. Inapitia maudhui yanayoweza kutumika kufunza modeli hizo, na kuizuia GPTBot kunaonyesha kwamba maudhui ya tovuti hayapaswi kutumika kwa mafunzo.

Kuiruhusu au la ni uamuzi wa sera, si wa kuonekana. Utafutaji wa ChatGPT unatumia crawler tofauti, OAI-SearchBot, na OpenAI inaeleza mipangilio hiyo miwili kuwa huru. Zote mbili zikiruhusiwa, OpenAI inasema inaweza kutumia matokeo ya upitiaji mmoja kwa makusudi yote mawili ili kuepuka kupitia mara mbili.

Katika utafiti wetu wa 2026-11, 21.4% ya tovuti maarufu zenye robots.txt ziliizuia. →

Tokeni ya robots.txt

GPTBot

Mfuatano wa user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Jinsi ya kuthibitisha ziara halisi

OpenAI inachapisha masafa ya IP ambayo wakala huyu hutumia kama faili ya JSON. Linganisha IP chanzo ya ombi na masafa hayo; ombi linalotaja GPTBot lakini linatoka anwani nyingine halitoki OpenAI. OpenAI inaeleza kwamba namba ya toleo kwenye user agent inaweza kubadilika, kwa hivyo linganisha tokeni ya GPTBot badala ya mfuatano mzima.

Kagua kama tovuti yako inairuhusu kuingia →

Crawler za OpenAI zimeelezwa: GPTBot, OAI-SearchBot na ChatGPT-User →