GPTBot
GPTBot — OpenAI-дың генеративтік ЖИ базалық модельдерін оқытуға пайдаланылуы мүмкін мазмұнға арналған краулері. Оған robots.txt-те тыйым салу OpenAI-ға мазмұныңызды оқытуға пайдаланбауды айтады. Оны бұғаттау сізді ChatGPT іздеу жауаптарынан алып тастамайды, олар OAI-SearchBot-қа байланысты.
Оны қалай өткізуге болады
User-agent: GPTBot
Allow: / Оны қалай бұғаттауға болады
User-agent: GPTBot
Disallow: / Ол не істейді
OpenAI-дың айтуынша, GPTBot оның генеративтік ЖИ базалық модельдерін пайдалырақ әрі қауіпсізірек ету үшін пайдаланылады. Ол сол модельдерді оқытуға пайдаланылуы мүмкін мазмұнды краулингтен өткізеді, ал GPTBot-қа тыйым салу сайт мазмұнын оқытуға пайдаланбау керектігін білдіреді.
Оған рұқсат беру-бермеу — көріну емес, саясат мәселесі. ChatGPT іздеуі бөлек краулерді, OAI-SearchBot-ты пайдаланады, ал OpenAI бұл екі параметрді бір-біріне тәуелсіз деп сипаттайды. Екеуіне де рұқсат берілсе, OpenAI екі рет краулинг жасамау үшін бір краулинг нәтижесін екі мақсатқа да пайдалануы мүмкін екенін айтады.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 21.4% бөлігі оны бұғаттаған. →
robots.txt токені
GPTBot
User-agent жолы
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Нақты кірулерді қалай тексеруге болады
OpenAI бұл агент пайдаланатын IP ауқымдарын JSON файлы ретінде жариялайды. Сұраудың бастапқы IP мекенжайын сол ауқымдармен салыстырыңыз; GPTBot деп аталатын, бірақ басқа мекенжайдан келген сұрау OpenAI-дан емес. OpenAI user agent ішіндегі нұсқа нөмірі өзгеруі мүмкін екенін ескертеді, сондықтан толық жолды емес, GPTBot токенін салыстырыңыз.
Сайтыңыз оны өткізетінін тексеріңіз →
OpenAI краулерлері: GPTBot, OAI-SearchBot және ChatGPT-User →