ЖИ оқытуын бұғаттап, ЖИ іздеу жауаптарында қалай қалуға болады
ЖИ жеткізушілерінің көбі модель оқыту мен іздеу үшін robots.txt-те бөлек токендерді пайдаланады. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent және CCBot сияқты оқыту токендеріне тыйым салып, OAI-SearchBot, Claude-SearchBot және PerplexityBot сияқты іздеу және пайдаланушы токендерін өткізіңіз. Сол таңдауды сөзбен білдіру үшін Content-Signal жолын қосыңыз.
Көп сайт иелері бір мезгілде екі нәрсені қалайды: мазмұнының ЖИ модельдерін оқытуға пайдаланылғанын қаламайды, бірақ ЖИ көмекшілері беттерін тауып, дәйексөз келтіріп, сілтеме бергенін қалайды. Ірі жеткізушілер енді бұл міндеттерді әртүрлі краулерлер немесе токендер арасында бөлетіндіктен, robots.txt екі таңдауды да білдіре алады. Қиындығы — атаулар жеткізушілерде әртүрлі, бірнеше жеткізуші бұл үлгіге сай келмейді, ал бір қате жол сізді оқыту деректерінен емес, ЖИ жауаптарынан алып тастауы мүмкін.
Осы бетте
Оқыту краулері мен іздеу краулерінің айырмашылығы неде?
Оқыту краулері ЖИ модельдерін құруға немесе жетілдіруге пайдаланылуы мүмкін беттерді жинайды. Оқытудың өзі дәйексөз де, сілтеме де бермейді. Іздеу краулері ЖИ көмекшісі жауапқа дереккөз табу үшін пайдаланатын индексті құрады, ал ол сілтеме бере алатыны — дәл осы дереккөздер. Пайдаланушы іске қосатын агент біреу бет туралы сұрағандықтан, оны тікелей ашады.
Жеткізушілер бұл рөлдерді бөлек құжаттайды және баптаулар бір-біріне тәуелсіз екенін айтады. Мысалы, OpenAI өз краулерлері үшін robots.txt-тегі әр баптау басқаларына тәуелсіз дейді. Демек, дұрыс жасалған оқытудан бас тарту іздеудегі көрінуіңізге әсер етпейді.
Қай токендер оқытуды, қайсысы іздеуді басқарады?
Жеткізушілер құжаттайтын токендер олар басқаратын нәрсе бойынша топтастырылған:
- OpenAI:
GPTBotбазалық модельдерді оқытуға пайдаланылуы мүмкін мазмұнды жинайды.OAI-SearchBotChatGPT іздеуіне арналған, алChatGPT-Userпайдаланушы әрекеттерін өңдейді; OpenAI оған robots.txt қолданылмауы мүмкін дейді. - Anthropic:
ClaudeBotоқытуға үлес қосуы мүмкін мазмұнды жинайды.Claude-SearchBotClaude іздеу нәтижелерін жақсартады, алClaude-Userпайдаланушылар үшін беттерді алады. Anthropic оның боттары robots.txt-ті сақтайтынын айтады. - Google:
Google-Extended— өз краулері жоқ robots.txt токені. Ол болашақ Gemini модельдерін оқытуда және Gemini Apps пен Vertex AI жауаптарын негіздеуде (grounding) пайдалануды басқарады. Google оның Google Search-ке қосылуға немесе рейтингке әсер етпейтінін айтады, оныGooglebotбасқарады. - Apple:
Applebot-Extendedкраулинг жасамайды; олApplebotжинаған мазмұнның Apple базалық модельдерін оқытуға пайдаланылуын басқарады. Apple оған тыйым салатын беттер оның іздеу нәтижелерінде көріне беретінін айтады. - Meta:
meta-externalagentбазалық модельдерді оқыту сияқты мақсаттар үшін краулинг жасайды, алmeta-webindexerMeta AI іздеу нәтижелерін жақсартады. - Common Crawl:
CCBotCommon Crawl-дың жалпыға ашық веб-архивін құрады. Cloudflare-дің managed robots.txt файлы оны тыйым салынатын ЖИ оқыту краулерлерінің қатарында атайды. - Perplexity:
PerplexityBotпенPerplexity-Userіздеу мен пайдаланушы сұрауларына қызмет етеді. Perplexity екеуі де оқыту деректерін жинауға пайдаланылмайды дейді, сондықтан бұғаттайтын Perplexity оқыту токені жоқ.
robots.txt қалай көрінеді?
RFC 9309 бойынша қатар тұрған бірнеше User-agent жолы бір топ құрайды, сондықтан ережелер олардың әрқайсысына қолданылады. Бұл файл жоғарыдағы оқыту токендерінен бас тартады, іздеу және пайдаланушы агенттерін өткізеді және бір жеке жолды барлығы үшін жабық ұстайды:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Екі нәрсе маңызды. Біріншіден, аталған топ * тобынан ештеңе мұраға алмайды, сондықтан жеке жолдарды іздеу тобында қайталау керек. Екіншіден, Googlebot немесе Applebot агенттерін оқыту тобына қоспаңыз: олар — іздеу краулерлері, және оларды бұғаттау сізді Google Search пен Apple іздеу функцияларынан алып тастайды. Өзгерістер бірден күшіне енбейді: OpenAI іздеу үшін шамамен 24 сағат дейді, Perplexity 24 сағатқа дейін дейді.
Мұны қанша сайт қазірдің өзінде жасайды?
Күткеннен аз. 2026-11-12 күні Tranco тізіміндегі ең танымал 1,000 доменнің robots.txt файлдарын оқыдық. robots.txt берген 518 сайттың 155-і (29.9%) басты бетті кемінде бір ЖИ оқыту краулеріне жапқан. Тек 57 сайт (11.0%) таңдамалы жолды ұстанады: олар оқыту краулерлерін бұғаттап, біз тексерген барлық ЖИ іздеу және пайдаланушы краулерлерін өткізеді. Жалпы алғанда, 101 сайт (19.5%) кемінде бір ЖИ іздеу немесе пайдаланушы краулерін бұғаттайды.
Краулерлер бойынша сандар да осындай бөлінуді көрсетеді. GPTBot 111 сайтта (21.4%), OAI-SearchBot 58 сайтта (11.2%) бұғатталған. ClaudeBot 110 сайтта (21.2%), Claude-SearchBot 67 сайтта (12.9%) бұғатталған. Google-Extended 94 сайтта (18.1%), Googlebot 14 сайтта (2.7%) бұғатталған. Тек 18 сайт (3.5%) Content-Signal пайдаланады.
Зерттеу тек басты бетке арналған robots.txt ережелерін қарастырады. Ол файрвол бұғаттауларын өлшемейді және әр сайттың ниетін көрсетпейді.
Content-Signal не қосады?
Content Signals — Cloudflare contentsignals.org сайтында жариялаған robots.txt кеңейтімі. Content-Signal жолы мазмұнды қалай пайдалануға болатынын үш сигнал арқылы көрсетеді: search (іздеу индексін құру және сілтемелер мен қысқа үзінділерді көрсету), ai-input (мазмұнды ЖИ модельдеріне нақты уақытта беру, мысалы генеративтік жауаптарды негіздеу немесе іздеп табу үшін) және ai-train (модельдерді оқыту немесе fine-tuning арқылы баптау).
search анықтамасы ЖИ жасаған іздеу қорытындыларын қамтымайтынына назар аударыңыз. ЖИ жауаптарында көрінгіңіз келсе, жоғарыдағы мысалдағыдай ai-input=yes мәнін де орнатыңыз. Cloudflare-дің managed robots.txt файлы әдепкі бойынша search=yes, ai-train=no қосады; көрсетілмеген сигнал сол пайдалануға рұқсат та бермейді, шектеу де қоймайды.
Бұлар — айтылған қалау ғана. Content Signals сайты олар техникалық деңгейде краулингке кедергі келтірмейтінін айтады, ал Cloudflare robots.txt-ті сақтау ерікті екенін атап өтеді. Біз тексерген OpenAI, Anthropic, Google немесе Perplexity краулер беттерінің ешқайсысы Content-Signal оқылатынын айтпайды, сондықтан оны әр краулерге арналған топтардың орнына емес, қосымшасы ретінде қарастырыңыз.
Бөлу қай жерде таза жұмыс істемейді?
Бірнеше жағдайда сақ болу керек:
- Google AI Overviews пен AI Mode
Googlebotқұратын Search индексіне сүйенеді, сондықтанGoogle-Extendedсізді олардан алып тастамайды. Google Search Console анықтамасыGoogle-ExtendedSearch-тің генеративтік ЖИ функцияларының астындағы модельдерді оқытуды шектейтінін қосады, ал краулер құжаттамасы мұны айтпайды. Енді Google сайтты AI Overviews пен AI Mode-тан шығару үшін Search Console-да бөлек баптау ұсынады. - OpenAI сайт
GPTBotпенOAI-SearchBotекеуін де өткізсе, бір краулинг нәтижесін екі мақсатқа да пайдалануы мүмкін екенін айтады. Мазмұнды оқытуға пайдаланбау керектігінGPTBotкраулеріне тыйым салу білдіреді. - Бас тарту болашаққа қатысты. Мысалы, Anthropic
ClaudeBotкраулеріне тыйым салуды сайттың болашақ мазмұнын оқыту деректер жиынтығынан шығару деп сипаттайды. - Пайдаланушы іске қосатын агенттер аралық орында. OpenAI мен Perplexity
ChatGPT-Userагентіне robots.txt қолданылмауы мүмкін екенін, алPerplexity-Userагентіне әдетте қолданылмайтынын айтады. - Файрволдар robots.txt оқымайды. Боттарды кең бұғаттайтын ереже сіз өткізген іздеу краулерлерін тоқтатуы мүмкін. Оқыту бұғаттауын файрвол деңгейінде жүзеге асырсаңыз, оқыту агенттерін атауы бойынша сәйкестендіріп, оларды жарияланған IP ауқымдары арқылы растаңыз.
Бөлудің жұмыс істейтінін қалай тексеруге болады?
robots.txt файлыңызды әр краулер оқитындай оқыңыз: оны атайтын топты табыңыз, ондай топ болмаса ғана * тобына жүгініңіз және ең ұзын сәйкес келетін ережені қолданыңыз. Содан кейін әр іздеу краулерінің user agent атымен бетті сұрап, оның 403 немесе тексеру бетін емес, толық мазмұны бар 200 жауабын алатынына көз жеткізіңіз.
AISeeWhy мұның екеуін де оқыту, іздеу және пайдаланушы агенттері болып топтастырылған 14 краулер үшін жасайды және ең жиі кездесетін қатені белгілейді: оқытуды бұғаттаймын деп PerplexityBot немесе Claude-SearchBot сияқты іздеу токенін бұғаттау.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
GPTBot-ты бұғаттау сайтымды ChatGPT жауаптарынан алып тастай ма?
Жоқ. OpenAI GPTBot оқытуға арналғанын және robots.txt-тегі әр баптау тәуелсіз екенін айтады. ChatGPT іздеуі OAI-SearchBot пайдаланады; ол рұқсат етіліп, файрволыңыз бұғаттамаса, беттеріңіз жарамды болып қала береді.
Google-Extended-ті бұғаттау мені AI Overviews-тан алып тастай ма?
Google құжаттамасы бойынша жоқ. Google Google-Extended Google Search-ке қосылуға әсер етпейтінін айтады, ал AI Overviews Search индексіне сүйенеді. Google сайтты AI Overviews пен AI Mode-тан шығару үшін Search Console-да бөлек баптау ұсынады.
Барлық ЖИ оқытуын бұғаттайтын бір жол бар ма?
Стандартты ондай жол жоқ. Content-Signal: ai-train=no барлық краулерлер үшін қалауыңызды білдіреді, бірақ краулердің оны сақтауы операторына байланысты. Әр оқыту токеніне арналған аталған топтар — құжатталған әдіс.
ЖИ оқытуын тоқтату үшін Perplexity-ді бұғаттау керек пе?
Perplexity өз агенттері оқыту деректерін жинауға пайдаланылмайтынын айтады. PerplexityBot краулерін бұғаттау оқытудан бас тартуға көмектеспей, Perplexity іздеу нәтижелеріндегі көрінуіңізді азайтады.
Дереккөздер
- OpenAI: OpenAI краулерлеріне шолу
- Anthropic: Anthropic вебтен деректер жинай ма және сайт иелері краулерді қалай бұғаттай алады?
- Google: Жалпы краулерлер, оның ішінде Google-Extended
- Google Search Console анықтамасы: Search-тегі генеративтік ЖИ баптауы
- Apple: Applebot туралы
- Meta: Meta веб-краулерлері
- Common Crawl: CCBot
- Perplexity: Perplexity краулерлері
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt және Content Signals
- AISeeWhy: ЖИ краулерлерінің қолжетімділігі туралы есеп, 2026-11