Сайтыңызды қай ЖИ краулерлері оқи алатынын таңдап, жасалған robots.txt файлын көшіріңіз. Жиі таңдау: GPTBot және ClaudeBot сияқты ЖИ оқыту краулерлерін бұғаттап, OAI-SearchBot және PerplexityBot сияқты ЖИ іздеу краулерлеріне рұқсат беру. Сонда беттеріңіз ЖИ жауаптарында көрініп, дәйексөз ретінде келтіріле береді.
Пайдаланушы сұраған жүктеушілерді бұғаттаудың әсері шектеулі: кейбір жеткізушілер бұл агенттер robots.txt-ті сақтамауы мүмкін дейді, өйткені бетті адам сұраған. Жарияламас бұрын нәтижені robots.txt тексерушісімен тексеріңіз. ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі →
Қалай пайдалану керек
Файлды доменіңіздің түбіріне қойыңыз (https://example.com/robots.txt). Басқа краулерлерге арналған ережелеріңіз бұрыннан болса, оларды қалдырып, тек ЖИ топтарын қосыңыз. Өзгерістер әр краулер файлды келесі рет оқығанда күшіне енеді, әдетте бір күн ішінде.
Бұл мәтін ағылшын тілінен машиналық аудармамен аударылған.
Генератор не жазады
Сайтыңызды оқи алатын краулерлерді белгілеп, бұғаттағыңыз келетіндердің белгісін алыңыз. Генератор әр бұғатталған краулерге бір топ бар robots.txt жазады: User-agent: <token>, одан кейін Disallow: /, ал соңында қалғанның бәріне рұқсат беретін User-agent: * тобы. Sitemap мекенжайын қоссаңыз, ол Sitemap жолын қосады. Content-Signal опцияларын белгілесеңіз, мазмұныңызды қалай пайдалануға болатынын көрсететін Content-Signal жолын қосады.
Браузеріңізден ештеңе шықпайды: файл сіз басқан сайын бетте құрылады, ал сіз оны нәтиже өрісінен көшіріп аласыз.
Қай үлгіден бастау керек
Бәріне рұқсат: әр краулер әр бетті оқи алады. Табылғысы және сілтеме алғысы келетін сайттардың көбіне сәйкес келеді.
Оқытуды бұғаттау, ЖИ іздеуіне рұқсат: GPTBot, ClaudeBot, CCBot және Google-Extended сияқты оқыту краулерлері бұғатталады; OAI-SearchBot, Claude-SearchBot, PerplexityBot және ChatGPT-User сияқты іздеу және пайдаланушы краулерлеріне рұқсат қалады. Беттеріңіз ЖИ жауаптарында бәрібір көрініп, сілтеме ала алады.
Барлық ЖИ краулерлерін бұғаттау: тізімдегі әр ЖИ краулері бұғатталады. Беттеріңізді сол краулерлер ЖИ жауаптары үшін алмайды, бұл әдетте сілтемелердің азаюын және ассистенттерден келетін трафиктің азаюын білдіреді.
Мысал: оқытуды бұғаттау, ЖИ іздеуіне рұқсат
Әр бұғатталған краулердің өз тобы бар, сондықтан оның Disallow: / ережесі тек оған қолданылады. Қалған барлық краулерлер, соның ішінде OAI-SearchBot пен Googlebot, User-agent: * тобына түседі және бәрін оқи алады. Content-Signal жолы сол ниетті оны оқитын краулерлер үшін қайталайды: іздеу мен нақты уақыттағы жауаптарға иә, оқытуға жоқ.
Ауыстырмаңыз, біріктіріңіз. Қазіргі robots.txt файлыңызда әкімші бөлімдері, себеттер немесе іздеу беттері үшін ережелер болса, оларды жаңа файлдың User-agent: * тобына көшіріңіз, әйтпесе ол бөлімдерді барлық краулерлерге ашып қоясыз.
Файлды әр хосттың түбіріне қойыңыз: https://example.com/robots.txt. Субдоменге өз файлы керек.
Оны 200 мәртебесімен қарапайым мәтін ретінде беріңіз. Сол мекенжайдағы HTML бет немесе қате robots.txt ретінде жұмыс істемейді.
Нәтижені robots.txt тестеріне қойып, сізге маңызды краулерлер үшін бірнеше нақты жолды тексеріңіз.
robots.txt өтініш қана екенін есте сақтаңыз. Файрвол сіз рұқсат берген краулерді бұғаттаса, файл мұны түзете алмайды; толық тексеру мұны көрсетеді.
Жиі кездесетін қателер
Оқытуды тоқтату үшін OAI-SearchBot немесе PerplexityBot краулерін бұғаттау. Бұлар іздеу краулерлері; оларды бұғаттау сізді жауаптардан алып тастайды.
Тек біреуін бұғаттамақ болып, бір Disallow: / үстіне бірнеше User-agent жолын жазу: қатар тұрған жолдар бір топ құрайды.
ChatGPT-User сияқты пайдаланушы сұрауымен жұмыс істейтін fetcher-лер бұғаттауды орындайды деп күту. Кейбір провайдерлер бетті адам сұрағанда бұл агенттер robots.txt-ті орындамауы мүмкін екенін айтады.
Crawl-delay немесе Noindex жолдарын қосу. Олар RFC 9309 құрамына кірмейді және Google екеуін де елемейді.
Жиі қойылатын сұрақтар
GPTBot-ты бұғаттау сайтымды ChatGPT-ден алып тастай ма?
Жоқ. GPTBot оқыту деректерін жинайды. ChatGPT іздеуі OAI-SearchBot агентін пайдаланады, ал ChatGPT-User адамдар сұраған беттерді ашады. Сілтеме алғыңыз келсе, оларға рұқсат беріп қойыңыз.
Content-Signal деген не?
robots.txt-тегі мазмұныңызды қалай пайдалануға болатынын көрсететін жол: search, ai-input (нақты уақыттағы жауаптар) және ai-train (оқыту), әрқайсысы иә немесе жоқ. Қолдау провайдерге қарай әртүрлі; краулерлер орындайтын ереже бәрібір краулерге арналған топтар болып қала береді.
Google-Extended Google Search-ке әсер ете ме?
Жоқ. Бұл Google беттеріңізді өз ЖИ модельдері үшін пайдалана ала ма, соны басқаратын тек robots.txt-ке арналған токен; ол Google Search-тегі краулингті немесе рейтингті өзгертпейді.
Таңдауым бір жаққа жіберіле ме?
Жоқ. Генератор браузеріңізде жұмыс істейді және сіз файлды тексеруді таңдамайынша серверімізге ештеңе жіберілмейді.