GPTBot

OpenAI · ЖИ-ді оқыту

GPTBot — OpenAI-дың генеративтік ЖИ базалық модельдерін оқытуға пайдаланылуы мүмкін мазмұнға арналған краулері. Оған robots.txt-те тыйым салу OpenAI-ға мазмұныңызды оқытуға пайдаланбауды айтады. Оны бұғаттау сізді ChatGPT іздеу жауаптарынан алып тастамайды, олар OAI-SearchBot-қа байланысты.

Оны қалай өткізуге болады

User-agent: GPTBot
Allow: /

Оны қалай бұғаттауға болады

User-agent: GPTBot
Disallow: /

Ол не істейді

OpenAI-дың айтуынша, GPTBot оның генеративтік ЖИ базалық модельдерін пайдалырақ әрі қауіпсізірек ету үшін пайдаланылады. Ол сол модельдерді оқытуға пайдаланылуы мүмкін мазмұнды краулингтен өткізеді, ал GPTBot-қа тыйым салу сайт мазмұнын оқытуға пайдаланбау керектігін білдіреді.

Оған рұқсат беру-бермеу — көріну емес, саясат мәселесі. ChatGPT іздеуі бөлек краулерді, OAI-SearchBot-ты пайдаланады, ал OpenAI бұл екі параметрді бір-біріне тәуелсіз деп сипаттайды. Екеуіне де рұқсат берілсе, OpenAI екі рет краулинг жасамау үшін бір краулинг нәтижесін екі мақсатқа да пайдалануы мүмкін екенін айтады.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 21.4% бөлігі оны бұғаттаған. →

robots.txt токені

GPTBot

User-agent жолы

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Нақты кірулерді қалай тексеруге болады

OpenAI бұл агент пайдаланатын IP ауқымдарын JSON файлы ретінде жариялайды. Сұраудың бастапқы IP мекенжайын сол ауқымдармен салыстырыңыз; GPTBot деп аталатын, бірақ басқа мекенжайдан келген сұрау OpenAI-дан емес. OpenAI user agent ішіндегі нұсқа нөмірі өзгеруі мүмкін екенін ескертеді, сондықтан толық жолды емес, GPTBot токенін салыстырыңыз.

Сайтыңыз оны өткізетінін тексеріңіз →

OpenAI краулерлері: GPTBot, OAI-SearchBot және ChatGPT-User →