GPTBot
GPTBot என்பது OpenAI-இன் கிராலர்; அது சேகரிக்கும் உள்ளடக்கம் அதன் generative AI அடிப்படை மாதிரிகளைப் பயிற்றுவிக்கப் பயன்படலாம். robots.txt-இல் இதற்கு அனுமதி மறுப்பது, உங்கள் உள்ளடக்கத்தைப் பயிற்சிக்குப் பயன்படுத்த வேண்டாம் என்று OpenAI-க்குச் சொல்கிறது. இதைத் தடுப்பது ChatGPT தேடல் பதில்களிலிருந்து உங்களை நீக்காது; அவை OAI-SearchBot-ஐச் சார்ந்தவை.
இதை எப்படி அனுமதிப்பது
User-agent: GPTBot
Allow: / இதை எப்படித் தடுப்பது
User-agent: GPTBot
Disallow: / இது என்ன செய்கிறது
GPTBot தனது generative AI அடிப்படை மாதிரிகளை மேலும் பயனுள்ளதாகவும் பாதுகாப்பானதாகவும் ஆக்கப் பயன்படுகிறது என்று OpenAI சொல்கிறது. அந்த மாதிரிகளின் பயிற்சியில் பயன்படக்கூடிய உள்ளடக்கத்தை இது crawl செய்கிறது; GPTBot-க்கு அனுமதி மறுப்பது, ஒரு தளத்தின் உள்ளடக்கம் பயிற்சிக்குப் பயன்படக் கூடாது என்பதைக் குறிக்கிறது.
இதை அனுமதிப்பதா என்பது கொள்கை முடிவு, தெரிவுநிலை முடிவு அல்ல. ChatGPT தேடல் OAI-SearchBot என்ற தனிக் கிராலரைப் பயன்படுத்துகிறது; இந்த இரண்டு அமைப்புகளும் ஒன்றையொன்று சார்ந்தவை அல்ல என்று OpenAI ஆவணப்படுத்துகிறது. இரண்டும் அனுமதிக்கப்பட்டால், இருமுறை crawl செய்வதைத் தவிர்க்க ஒரு crawl-இன் முடிவுகளை இரண்டு நோக்கங்களுக்கும் பயன்படுத்தலாம் என்று OpenAI சொல்கிறது.
எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 21.4% இதைத் தடுத்தன. →
robots.txt டோக்கன்
GPTBot
User-agent சரம்
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
OpenAI இந்த ஏஜென்ட் பயன்படுத்தும் IP வரம்புகளை ஒரு JSON கோப்பாக வெளியிடுகிறது. கோரிக்கையின் மூல IP-ஐ அந்த வரம்புகளுடன் ஒப்பிடுங்கள்; GPTBot என்று பெயர் சொல்லி வேறு முகவரியிலிருந்து வரும் கோரிக்கை OpenAI-இடமிருந்து வந்தது அல்ல. User agent-இல் உள்ள பதிப்பு எண் மாறலாம் என்று OpenAI குறிப்பிடுகிறது, எனவே முழுச் சரத்தை அல்ல, GPTBot டோக்கனைப் பொருத்துங்கள்.
உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →
OpenAI கிராலர்கள் விளக்கம்: GPTBot, OAI-SearchBot, ChatGPT-User →