ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
Бет мекенжайын енгізіңіз: біз сайттың robots.txt файлын оқып, әр ЖИ және іздеу краулері үшін сол бетті ала ма, соны көрсетеміз. Немесе robots.txt файлын жарияламас бұрын тексеру үшін оны қойыңыз.
robots.txt — тек өтініш. robots.txt рұқсат еткен краулерді файрвол немесе боттардан қорғау бәрібір бұғаттауы мүмкін; толық тексеру мұны тексереді. Толық тексеруді іске қосу →
Әр краулер өз токенін атайтын топты ұстанады (мысалы, GPTBot немесе PerplexityBot); ондай топ болмаса ғана User-agent: * тобын ұстанады. Топ ішінде ең ұзын сәйкес ереже жеңеді, ал тең болса Allow жеңеді. GPTBot, ClaudeBot немесе Google-Extended сияқты оқыту краулерлерін бұғаттау мазмұныңызды модельдерді оқытудан тыс қалдырады; OAI-SearchBot, ChatGPT-User немесе PerplexityBot сияқты іздеу және пайдаланушы краулерлерін бұғаттау беттеріңізді ЖИ жауаптарынан тыс қалдырады.
Нұсқаулық
robots.txt тестерін қалай пайдалануға болады
Бұл мәтін ағылшын тілінен машиналық аудармамен аударылған.
Бұл robots.txt тестері нені тексереді
Беттің мекенжайын енгізіңіз. Тестер сол мекенжайдың схемасы мен хостын алып, хосттың түбірінен /robots.txt файлын оқиды және оның ережелерін бетіңіздің жолы үшін бағалайды. Ол 16 краулердің әрқайсысы үшін бір сұраққа жауап береді: бұл краулер осы бетті ала ала ма?
Краулерлер атқаратын жұмысына қарай топталған. Оқыту краулерлері ЖИ модельдері үшін беттерді жинайды: GPTBot, ClaudeBot, CCBot, Bytespider және Meta-ExternalAgent, сондай-ақ тек robots.txt-те қолданылатын Google-Extended және Applebot-Extended токендері; олар өздері сайтқа келмейді, бірақ Google мен Apple-ға бұрын алған беттерін пайдалана алатын-алмайтынын білдіреді. Іздеу краулерлері ЖИ жауаптары мен іздеу нәтижелері сілтеме беретін индекстерді құрады: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot және Applebot. Пайдаланушы агенттері адам ассистенттен бетті ашуды сұрағанда оны алады: ChatGPT-User, Claude-User және Perplexity-User.
Мекенжайдың орнына robots.txt мәтінін де қоюға болады. Бұл жағдайда ештеңе жүктелмейді: тестер сіз қойған мәтінді бағалайды, сондықтан өзгерісті жарияламас бұрын тексеріп көре аласыз. Қойылған мәтін тек жауап беру үшін пайдаланылады және сақталмайды.
Нәтижелерді қалай оқу керек
Кестеде әр краулерге бір жол бар. Жолыңыздың бағанында Рұқсат етілген немесе Бұғатталған деп жазылады. Соңғы баған файлдың қай бөлігі шешім қабылдағанын көрсетеді:
Өз тобы: файлда осы краулердің токені бар User-agent жолы бар және ол үшін тек сол топтың ережелері есептеледі.
User-agent: *: ешбір топ краулерді атамайды, сондықтан ол жалпы топқа бағынады.
Ереже жоқ: ешбір топ мүлдем қолданылмайды, сондықтан бетке рұқсат етіледі.
Кестенің астында файлда көрсетілген Sitemap жолдарын және бар болса, Content-Signal жолын көресіз. Мекенжай мәтіндік файлдың орнына веб-бет қайтарса немесе ешқандай файл қайтармаса, тестер мұны айтады: краулерлер /robots.txt мекенжайындағы HTML бетті файлдың жоқтығы деп қабылдайды.
Рұқсат етілген деп жазылған жол тек robots.txt сол краулерді тоқтатпайтынын білдіреді. Бұл краулер міндетті түрде келеді дегенді білдірмейді және файрволыңыз туралы ештеңе айтпайды.
Краулер өз ережелерін қалай таңдайды
robots.txt стандарты RFC 9309 таңғаларлық нәтижелердің барлығын дерлік түсіндіретін үш ереже белгілейді. Краулер алдымен User-agent жолы өз токеніне сәйкес келетін топтарды іздейді, әріп регистріне қарамайды. Ондай топ табылса, ол тек сол топтарға бағынады және User-agent: * тобын толығымен елемейді. Таңдалған топта ең ұзын сәйкес жолы бар ереже жеңеді, ал Allow пен Disallow бірдей ұзындықпен сәйкес келсе, Allow жеңеді.
Бұл файлмен GPTBot барлық беттерден бұғатталады, өйткені оның өз тобы бар. Қалған барлық краулерлер /private/press/kit.pdf файлын ала алады, өйткені Allow: /private/press/ ережесі Disallow: /private/ ережесінен ұзынырақ, ал /private/notes/ олар үшін бұғатталған. Екі жолды да тестерде тексеріңіз, сонда шешімнің бір топтан екіншісіне ауысқанын көресіз.
Жиі кездесетін қателер, мысалдармен
Қатар тұрған User-agent жолдары бір топты құрайды. Алдымен User-agent: GPTBot, содан кейін User-agent: OAI-SearchBot, содан кейін Disallow: / жазылған файл екі краулерді де бұғаттайды, сөйтіп оқытуды тоқтатқысы келген сайт ChatGPT іздеуінен де жоғалады.
OpenAI-дың қате токенін бұғаттау. GPTBot оқыту деректерін жинайды; OAI-SearchBot ChatGPT іздеуі сізді көрсетіп, сілтеме бере ала ма, соны шешеді. Оқытуды тоқтату үшін OAI-SearchBot немесе ChatGPT-User агентін бұғаттау керісінше сізді жауаптардан алып тастайды.
Бір таңба ережені керісінше өзгертеді. Артында ештеңе жоқ Disallow: бәріне рұқсат береді; Disallow: / бәрін бұғаттайды.
Жолдар әріп регистрін ажыратады. Disallow: /Blog/ ережесі /blog/ жолын бұғаттамайды.
Wildcard таңбаларын абайлап қолдану керек. Disallow: /*.pdf сонымен қатар /file.pdf?download=1 мекенжайын да бұғаттайды; Disallow: /*.pdf$ тек .pdf деп аяқталатын мекенжайларды бұғаттайды.
Файл қате хостта тұр. robots.txt тек өзі берілетін схема мен хост үшін ғана жарамды, сондықтан www.example.com, example.com және shop.example.com әрқайсысына жеке файл керек.
Сервер қатемен жауап береді. 4xx жауабы краулерлер бәрін ала алатынын білдіреді. 5xx жауабы немесе күту уақытының бітуі файл қайта оқылғанша олар бәріне тыйым салынған деп есептеуі керек дегенді білдіреді, сондықтан бұзылған /robots.txt барлық краулингті тоқтата алады.
Краулерлер орындамайтын ережелер. Noindex: және Crawl-delay: RFC 9309 құрамына кірмейді және Google екеуін де елемейді.
robots.txt бетті іздеуден алып тастайды деп күту. Ол индекстеуді емес, краулингті тоқтатады: бұғатталған мекенжай мәтінсіз болса да тізімде көрсетілуі мүмкін. Бетті индекстен тыс ұстау үшін краулингке рұқсат беріп, noindex мета тегін немесе тақырыбын пайдаланыңыз.
Оқыту, іздеу және пайдаланушы краулерлері: әрқайсысын бұғаттау не істейді
Оқыту краулерін бұғаттау — саясат таңдауы. Бұл беттеріңізді болашақ модельдерді оқытудан тыс ұстайды және ЖИ іздеуінің бүгін сізге сілтеме бере алуына әсер етпейді. OAI-SearchBot, Claude-SearchBot немесе PerplexityBot сияқты іздеу краулерін бұғаттау беттеріңізді сол ассистенттің жауаптарынан тыс қалдырады. Googlebot немесе Bingbot краулерін бұғаттау сізді сол іздеу жүйелерінен және олардың негізінде құрылған ЖИ функцияларынан алып тастайды.
ChatGPT-User сияқты пайдаланушы агенттері бетіңізді сұраған адамның атынан әрекет етеді. Кейбір провайдерлер мұндай сұрауларда бұл агенттер robots.txt-ті орындамауы мүмкін екенін айтады, сондықтан олар үшін ереже кепілдік емес, өтініш қана. Оқытуды өшіріп, ЖИ іздеуін қосулы қалдырғыңыз келсе, оқыту токендерін бұғаттаңыз, ал іздеу және пайдаланушы токендеріне тиіспеңіз.
Жарияламас бұрын тексеріңіз, содан кейін қайта тексеріңіз
Жобаңызды тестерге қойып, өнім немесе бағалар беті сияқты маңызды беттің жолын белгілеңіз де, сізге маңызды әр краулердің жолын оқыңыз. Бұғаттағыңыз келген жолмен қайталаңыз. Нәтижелер ниетіңізге сәйкес келгенде, файлды жариялап, тестерді нақты мекенжаймен қайта іске қосыңыз: бұл сервер сіз өңдеген файлды қайтаратынын дәлелдейді.
Краулерлер robots.txt-ті кэштейді; мысалы, Google әдетте өз көшірмесін 24 сағат ішінде жаңартады. Өзгерістің олардың әрекетінде көрінуіне бір күн кетуі мүмкін, ал Google Search Console-дағы robots.txt есебі Google соңғы рет алған көшірмені көрсетеді.
robots.txt краулерге рұқсат берсе де, ол бұғатталып тұрса
robots.txt — тек өтініш. Адамдар бетті алып жатқанда да файрвол, бот қорғаныс қызметі немесе CDN ережесі краулерге 403 немесе тексеру бетімен жауап бере алады. Тестер мұны көре алмайды, өйткені ол тек бір файлды оқиды. Толық тексеру бетіңізді қалыпты браузермен қатар әр краулердің user agent-імен алып, қай краулер басқаша жауап алатынын HTTP мәртебесі мен файрвол қолтаңбасымен көрсетеді.
Жиі қойылатын сұрақтар
Бұл Google-дың robots.txt Tester құралымен бірдей ме?
Жоқ. Google өзінің жеке robots.txt Tester құралын 2023 жылы тоқтатты; енді Search Console-дағы robots.txt есебі тек Google краулерлері үшін Google алған файлды және талдау қателерін көрсетеді. Бұл тестер сол RFC 9309 ережелерін бірден 16 ЖИ және іздеу краулеріне қолданады.
Рұқсат етілген деген краулер бетімді оқиды немесе сілтеме береді дегенді білдіре ме?
Жоқ. Бұл robots.txt оған тыйым салмайтынын білдіреді. Краулер бетті ала ма, жоқ па — сервер мен файрволыңызға, ал ассистент оған сілтеме бере ме — мазмұныңызға және қойылған сұраққа байланысты.
Неге краулерде «ереже жоқ» деп көрсетіледі?
Файлыңызда оның токеніне арналған топ та, User-agent: * тобы да жоқ, сондықтан оған ештеңе қолданылмайды және барлық жолдарға рұқсат етіледі.
Әлі жарияланбаған robots.txt-ті тексере аламын ба?
Иә. Мәтінді екінші өріске қойып, тексерілетін жолды енгізіңіз. Сайтыңыздан ештеңе жүктелмейді, ал қойылған мәтін сақталмайды.
Тестер GPTBot немесе басқа краулерлердің атынан сұрау жібере ме?
Жоқ. Ол тек robots.txt файлыңызды оқып, ережелерді қолданады. Әр краулер серверіңізден іс жүзінде не алатынын көру үшін толық тексеруді іске қосыңыз.
Оны қаншалықты жиі пайдалана аламын?
Ол тегін және аккаунтты қажет етпейді. Барлығына қолжетімді болуы үшін әр желі сағатына шектеулі сандағы тест жасай алады.