ЖИ краулерлеріне арналған robots.txt генераторы

Сайтыңызды қай ЖИ краулерлері оқи алатынын таңдап, жасалған robots.txt файлын көшіріңіз. Жиі таңдау: GPTBot және ClaudeBot сияқты ЖИ оқыту краулерлерін бұғаттап, OAI-SearchBot және PerplexityBot сияқты ЖИ іздеу краулерлеріне рұқсат беру. Сонда беттеріңіз ЖИ жауаптарында көрініп, дәйексөз ретінде келтіріле береді.

Бастапқы нұсқа
ЖИ оқыту
ЖИ іздеу
Пайдаланушы сұраған жүктеу
Content-Signal (міндетті емес): рұқсат беретініңізді белгілеңіз

Пайдаланушы сұраған жүктеушілерді бұғаттаудың әсері шектеулі: кейбір жеткізушілер бұл агенттер robots.txt-ті сақтамауы мүмкін дейді, өйткені бетті адам сұраған. Жарияламас бұрын нәтижені robots.txt тексерушісімен тексеріңіз. ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі →

Қалай пайдалану керек

Файлды доменіңіздің түбіріне қойыңыз (https://example.com/robots.txt). Басқа краулерлерге арналған ережелеріңіз бұрыннан болса, оларды қалдырып, тек ЖИ топтарын қосыңыз. Өзгерістер әр краулер файлды келесі рет оқығанда күшіне енеді, әдетте бір күн ішінде.

Толық тексеруді іске қосу →

Нұсқаулық

robots.txt генераторын қалай пайдалануға болады

Бұл мәтін ағылшын тілінен машиналық аудармамен аударылған.

Генератор не жазады

Сайтыңызды оқи алатын краулерлерді белгілеп, бұғаттағыңыз келетіндердің белгісін алыңыз. Генератор әр бұғатталған краулерге бір топ бар robots.txt жазады: User-agent: <token>, одан кейін Disallow: /, ал соңында қалғанның бәріне рұқсат беретін User-agent: * тобы. Sitemap мекенжайын қоссаңыз, ол Sitemap жолын қосады. Content-Signal опцияларын белгілесеңіз, мазмұныңызды қалай пайдалануға болатынын көрсететін Content-Signal жолын қосады.

Браузеріңізден ештеңе шықпайды: файл сіз басқан сайын бетте құрылады, ал сіз оны нәтиже өрісінен көшіріп аласыз.

Қай үлгіден бастау керек

Мысал: оқытуды бұғаттау, ЖИ іздеуіне рұқсат

Әр бұғатталған краулердің өз тобы бар, сондықтан оның Disallow: / ережесі тек оған қолданылады. Қалған барлық краулерлер, соның ішінде OAI-SearchBot пен Googlebot, User-agent: * тобына түседі және бәрін оқи алады. Content-Signal жолы сол ниетті оны оқитын краулерлер үшін қайталайды: іздеу мен нақты уақыттағы жауаптарға иә, оқытуға жоқ.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Жарияламас бұрын

Жиі кездесетін қателер

Жиі қойылатын сұрақтар

GPTBot-ты бұғаттау сайтымды ChatGPT-ден алып тастай ма?

Жоқ. GPTBot оқыту деректерін жинайды. ChatGPT іздеуі OAI-SearchBot агентін пайдаланады, ал ChatGPT-User адамдар сұраған беттерді ашады. Сілтеме алғыңыз келсе, оларға рұқсат беріп қойыңыз.

Content-Signal деген не?

robots.txt-тегі мазмұныңызды қалай пайдалануға болатынын көрсететін жол: search, ai-input (нақты уақыттағы жауаптар) және ai-train (оқыту), әрқайсысы иә немесе жоқ. Қолдау провайдерге қарай әртүрлі; краулерлер орындайтын ереже бәрібір краулерге арналған топтар болып қала береді.

Google-Extended Google Search-ке әсер ете ме?

Жоқ. Бұл Google беттеріңізді өз ЖИ модельдері үшін пайдалана ала ма, соны басқаратын тек robots.txt-ке арналған токен; ол Google Search-тегі краулингті немесе рейтингті өзгертпейді.

Таңдауым бір жаққа жіберіле ме?

Жоқ. Генератор браузеріңізде жұмыс істейді және сіз файлды тексеруді таңдамайынша серверімізге ештеңе жіберілмейді.

Байланысты құралдар мен нұсқаулықтар