ЖИ оқытуын бұғаттап, ЖИ іздеу жауаптарында қалай қалуға болады

Жарияланды

Қысқа жауап

ЖИ жеткізушілерінің көбі модель оқыту мен іздеу үшін robots.txt-те бөлек токендерді пайдаланады. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent және CCBot сияқты оқыту токендеріне тыйым салып, OAI-SearchBot, Claude-SearchBot және PerplexityBot сияқты іздеу және пайдаланушы токендерін өткізіңіз. Сол таңдауды сөзбен білдіру үшін Content-Signal жолын қосыңыз.

Көп сайт иелері бір мезгілде екі нәрсені қалайды: мазмұнының ЖИ модельдерін оқытуға пайдаланылғанын қаламайды, бірақ ЖИ көмекшілері беттерін тауып, дәйексөз келтіріп, сілтеме бергенін қалайды. Ірі жеткізушілер енді бұл міндеттерді әртүрлі краулерлер немесе токендер арасында бөлетіндіктен, robots.txt екі таңдауды да білдіре алады. Қиындығы — атаулар жеткізушілерде әртүрлі, бірнеше жеткізуші бұл үлгіге сай келмейді, ал бір қате жол сізді оқыту деректерінен емес, ЖИ жауаптарынан алып тастауы мүмкін.

Осы бетте
  1. Оқыту краулері мен іздеу краулерінің айырмашылығы неде?
  2. Қай токендер оқытуды, қайсысы іздеуді басқарады?
  3. robots.txt қалай көрінеді?
  4. Мұны қанша сайт қазірдің өзінде жасайды?
  5. Content-Signal не қосады?
  6. Бөлу қай жерде таза жұмыс істемейді?
  7. Бөлудің жұмыс істейтінін қалай тексеруге болады?

Оқыту краулері мен іздеу краулерінің айырмашылығы неде?

Оқыту краулері ЖИ модельдерін құруға немесе жетілдіруге пайдаланылуы мүмкін беттерді жинайды. Оқытудың өзі дәйексөз де, сілтеме де бермейді. Іздеу краулері ЖИ көмекшісі жауапқа дереккөз табу үшін пайдаланатын индексті құрады, ал ол сілтеме бере алатыны — дәл осы дереккөздер. Пайдаланушы іске қосатын агент біреу бет туралы сұрағандықтан, оны тікелей ашады.

Жеткізушілер бұл рөлдерді бөлек құжаттайды және баптаулар бір-біріне тәуелсіз екенін айтады. Мысалы, OpenAI өз краулерлері үшін robots.txt-тегі әр баптау басқаларына тәуелсіз дейді. Демек, дұрыс жасалған оқытудан бас тарту іздеудегі көрінуіңізге әсер етпейді.

Қай токендер оқытуды, қайсысы іздеуді басқарады?

Жеткізушілер құжаттайтын токендер олар басқаратын нәрсе бойынша топтастырылған:

robots.txt қалай көрінеді?

RFC 9309 бойынша қатар тұрған бірнеше User-agent жолы бір топ құрайды, сондықтан ережелер олардың әрқайсысына қолданылады. Бұл файл жоғарыдағы оқыту токендерінен бас тартады, іздеу және пайдаланушы агенттерін өткізеді және бір жеке жолды барлығы үшін жабық ұстайды:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Екі нәрсе маңызды. Біріншіден, аталған топ * тобынан ештеңе мұраға алмайды, сондықтан жеке жолдарды іздеу тобында қайталау керек. Екіншіден, Googlebot немесе Applebot агенттерін оқыту тобына қоспаңыз: олар — іздеу краулерлері, және оларды бұғаттау сізді Google Search пен Apple іздеу функцияларынан алып тастайды. Өзгерістер бірден күшіне енбейді: OpenAI іздеу үшін шамамен 24 сағат дейді, Perplexity 24 сағатқа дейін дейді.

Мұны қанша сайт қазірдің өзінде жасайды?

Күткеннен аз. 2026-11-12 күні Tranco тізіміндегі ең танымал 1,000 доменнің robots.txt файлдарын оқыдық. robots.txt берген 518 сайттың 155-і (29.9%) басты бетті кемінде бір ЖИ оқыту краулеріне жапқан. Тек 57 сайт (11.0%) таңдамалы жолды ұстанады: олар оқыту краулерлерін бұғаттап, біз тексерген барлық ЖИ іздеу және пайдаланушы краулерлерін өткізеді. Жалпы алғанда, 101 сайт (19.5%) кемінде бір ЖИ іздеу немесе пайдаланушы краулерін бұғаттайды.

Краулерлер бойынша сандар да осындай бөлінуді көрсетеді. GPTBot 111 сайтта (21.4%), OAI-SearchBot 58 сайтта (11.2%) бұғатталған. ClaudeBot 110 сайтта (21.2%), Claude-SearchBot 67 сайтта (12.9%) бұғатталған. Google-Extended 94 сайтта (18.1%), Googlebot 14 сайтта (2.7%) бұғатталған. Тек 18 сайт (3.5%) Content-Signal пайдаланады.

Зерттеу тек басты бетке арналған robots.txt ережелерін қарастырады. Ол файрвол бұғаттауларын өлшемейді және әр сайттың ниетін көрсетпейді.

Content-Signal не қосады?

Content Signals — Cloudflare contentsignals.org сайтында жариялаған robots.txt кеңейтімі. Content-Signal жолы мазмұнды қалай пайдалануға болатынын үш сигнал арқылы көрсетеді: search (іздеу индексін құру және сілтемелер мен қысқа үзінділерді көрсету), ai-input (мазмұнды ЖИ модельдеріне нақты уақытта беру, мысалы генеративтік жауаптарды негіздеу немесе іздеп табу үшін) және ai-train (модельдерді оқыту немесе fine-tuning арқылы баптау).

search анықтамасы ЖИ жасаған іздеу қорытындыларын қамтымайтынына назар аударыңыз. ЖИ жауаптарында көрінгіңіз келсе, жоғарыдағы мысалдағыдай ai-input=yes мәнін де орнатыңыз. Cloudflare-дің managed robots.txt файлы әдепкі бойынша search=yes, ai-train=no қосады; көрсетілмеген сигнал сол пайдалануға рұқсат та бермейді, шектеу де қоймайды.

Бұлар — айтылған қалау ғана. Content Signals сайты олар техникалық деңгейде краулингке кедергі келтірмейтінін айтады, ал Cloudflare robots.txt-ті сақтау ерікті екенін атап өтеді. Біз тексерген OpenAI, Anthropic, Google немесе Perplexity краулер беттерінің ешқайсысы Content-Signal оқылатынын айтпайды, сондықтан оны әр краулерге арналған топтардың орнына емес, қосымшасы ретінде қарастырыңыз.

Бөлу қай жерде таза жұмыс істемейді?

Бірнеше жағдайда сақ болу керек:

Бөлудің жұмыс істейтінін қалай тексеруге болады?

robots.txt файлыңызды әр краулер оқитындай оқыңыз: оны атайтын топты табыңыз, ондай топ болмаса ғана * тобына жүгініңіз және ең ұзын сәйкес келетін ережені қолданыңыз. Содан кейін әр іздеу краулерінің user agent атымен бетті сұрап, оның 403 немесе тексеру бетін емес, толық мазмұны бар 200 жауабын алатынына көз жеткізіңіз.

AISeeWhy мұның екеуін де оқыту, іздеу және пайдаланушы агенттері болып топтастырылған 14 краулер үшін жасайды және ең жиі кездесетін қатені белгілейді: оқытуды бұғаттаймын деп PerplexityBot немесе Claude-SearchBot сияқты іздеу токенін бұғаттау.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

GPTBot-ты бұғаттау сайтымды ChatGPT жауаптарынан алып тастай ма?

Жоқ. OpenAI GPTBot оқытуға арналғанын және robots.txt-тегі әр баптау тәуелсіз екенін айтады. ChatGPT іздеуі OAI-SearchBot пайдаланады; ол рұқсат етіліп, файрволыңыз бұғаттамаса, беттеріңіз жарамды болып қала береді.

Google-Extended-ті бұғаттау мені AI Overviews-тан алып тастай ма?

Google құжаттамасы бойынша жоқ. Google Google-Extended Google Search-ке қосылуға әсер етпейтінін айтады, ал AI Overviews Search индексіне сүйенеді. Google сайтты AI Overviews пен AI Mode-тан шығару үшін Search Console-да бөлек баптау ұсынады.

Барлық ЖИ оқытуын бұғаттайтын бір жол бар ма?

Стандартты ондай жол жоқ. Content-Signal: ai-train=no барлық краулерлер үшін қалауыңызды білдіреді, бірақ краулердің оны сақтауы операторына байланысты. Әр оқыту токеніне арналған аталған топтар — құжатталған әдіс.

ЖИ оқытуын тоқтату үшін Perplexity-ді бұғаттау керек пе?

Perplexity өз агенттері оқыту деректерін жинауға пайдаланылмайтынын айтады. PerplexityBot краулерін бұғаттау оқытудан бас тартуға көмектеспей, Perplexity іздеу нәтижелеріндегі көрінуіңізді азайтады.

Дереккөздер

Басқа мақалалар