ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек
Өзіңізге маңызды әр ЖИ краулеріне жеке User-agent тобын беріңіз. Сілтеме алғыңыз келсе, OAI-SearchBot, Claude-SearchBot және PerplexityBot сияқты іздеу краулерлерін өткізіп, GPTBot, ClaudeBot, Google-Extended және Applebot-Extended сияқты оқыту токендері туралы бөлек шешім қабылдаңыз. Аталған топ сол краулер үшін * тобын алмастырады.
robots.txt — 1994 жылдан бері бар қарапайым мәтіндік файл, ол 2022 жылы RFC 9309 ресми стандартына айналды. ЖИ жеткізушілерінің көбі краулерлері оны сақтайтынын айтады, ал бірнешеуі іздеу мен оқыту үшін бөлек токендер жариялайды. Сондықтан robots.txt — ЖИ саясатын білдірудің ең қарапайым орны, тек ережелер сіз ойлағандай мағына беретін болса.
Осы бетте
- ЖИ краулерлері robots.txt-те қандай токендер пайдаланады?
- ЖИ үшін жақсы robots.txt қалай көрінеді?
- Краулерлер өздеріне қай ережелер қолданылатынын қалай таңдайды?
- robots.txt-тегі ең жиі қателер қандай?
- Рұқсат пен тыйымнан басқа ЖИ пайдалану саясатын көрсетуге бола ма?
- Өзгерістер қанша уақыт алады және оларды қалай тексеруге болады?
ЖИ краулерлері robots.txt-те қандай токендер пайдаланады?
Жеткізушілер құжаттайтын токендер төменде. RFC 9309 бойынша сәйкестендіру регистрге тәуелсіз.
- OpenAI:
OAI-SearchBot(ChatGPT іздеуі),GPTBot(оқыту),ChatGPT-User(пайдаланушы сұраған кірулер; OpenAI robots.txt қолданылмауы мүмкін дейді). - Anthropic:
Claude-SearchBot(іздеу),ClaudeBot(оқыту),Claude-User(пайдаланушы сұраған кірулер). - Perplexity:
PerplexityBot(іздеу),Perplexity-User(пайдаланушы сұраған кірулер; Perplexity ол әдетте robots.txt-ті елемейді дейді). - Google:
Googlebot(Search, оның ЖИ функцияларымен бірге) жәнеGoogle-Extended— Gemini оқыту мен негіздеуде пайдалануды басқаратын, өз краулері жоқ токен. - Apple:
Applebot(Spotlight, Siri, Safari іздеуі) жәнеApplebot-Extended, ол краулинг жасамайды, бірақ Apple базалық модельдерін оқытуға пайдалануды басқарады. - Meta:
meta-externalagent(оқыту және өнімдерді индекстеу) жәнеmeta-webindexer(Meta AI іздеуі). - Common Crawl:
CCBot, ол Common Crawl-дың веб-деректерінің тегін жалпыға ашық архивін құрады.
ЖИ үшін жақсы robots.txt қалай көрінеді?
Бұл мысал ЖИ іздеуі мен пайдаланушы сұрауларын өткізеді, негізгі оқыту токендерінен бас тартады және бір жеке бөлімді барлығы үшін жабық ұстайды:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Қатар тұрған бірнеше User-agent жолы бір топ құрайды, сондықтан олардың астындағы ережелер сол краулерлердің әрқайсысына қолданылады. Мазмұныңыз оқытуға пайдаланылғанын қаласаңыз, екінші топты жай ғана алып тастаңыз. Google-Extended бұғаттау Google Search-ке әсер етпейді: Google ол Search-ке қосылуға әсер етпейтінін және рейтинг сигналы емес екенін айтады. Сол сияқты, Apple Applebot-Extended агентіне тыйым салатын беттер оның іздеу нәтижелерінде көріне беретінін айтады.
Краулерлер өздеріне қай ережелер қолданылатынын қалай таңдайды?
RFC 9309 мұны нақты анықтайды, және егжей-тегжейлері күтпеген жағдайлардың көбін түсіндіреді:
- Краулер
User-agentмәні оның өнім токеніне регистрді ескермей сәйкес келетін топты іздейді. Бірнеше топ сәйкес келсе, олардың ережелері біріктіріледі. - Ешбір топ сәйкес келмесе ғана краулер
User-agent: *тобын орындайды. Аталған топ*тобынан ештеңе мұраға алмайды. - Топ ішінде ең ұзын сәйкес жолы бар ереже жеңеді.
/blog/postүшінAllow: /blog/ережесіDisallow: /ережесінен басым. AllowжәнеDisallowережелері бірдей ұзындықпен сәйкес келсе,Allowқолданылуы керек.- Жолдағы
*кез келген таңбаларға сәйкес келеді, ал$соңын бекітеді, сондықтанDisallow: /*.pdf$барлық PDF файлдарын қамтиды.
robots.txt-тегі ең жиі қателер қандай?
- Аталған топ
*тобынан мұра алады деп күту. ТекAllow: /барOAI-SearchBotтобы барлық жолды, соның ішінде*астында тыйым салынғандарды да ашады. - HTML бетін, көбіне 200 статусымен берілген 404 бетін қайтаратын robots.txt мекенжайы. Краулерлер онда жарамды ережелер таппайды.
- Сервер қатесін қайтаратын robots.txt. RFC 9309 бойынша мұндайда краулер бүкіл сайтқа тыйым салынған деп санауы керек. 404 басқа: ол шектеулер жоқ дегенді білдіреді.
- Оқытуды бұғаттаймын деп іздеу токенін бұғаттау, мысалы модельді оқытудан қашу үшін
PerplexityBotнемесеClaude-SearchBotагентіне тыйым салу. - Пайдаланушы сұраған кірулерді тоқтату үшін robots.txt-ке сену. OpenAI да, Perplexity да өз user agent-тері оны сақтамауы мүмкін екенін айтады.
- Субдомендерді ұмыту. Әр хосттың өз robots.txt файлы бар; Anthropic құжаттамасы сайт иелеріне әр субдомен үшін ережелер қосуды еске салады.
Рұқсат пен тыйымнан басқа ЖИ пайдалану саясатын көрсетуге бола ма?
Cloudflare robots.txt үшін үш сигналы бар Content-Signal жолын ұсынды: search (іздеу индексін құру және сілтемелер мен қысқа үзінділерді көрсету), ai-input (мазмұнды ЖИ жауаптары үшін нақты уақытта пайдалану) және ai-train (модельдерді оқыту немесе fine-tuning). Cloudflare-дің managed robots.txt функциясы оны сіз үшін қоса алады.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt-тегі бәрі сияқты, бұлар техникалық басқару емес, қалау ғана. Cloudflare-дің өзі robots.txt-ті сақтау ерікті екенін атап өтеді. Бұл жол міндетті емес және зиянсыз, бірақ ол жоғарыдағы әр краулерге арналған топтарды алмастырмайды.
Өзгерістер қанша уақыт алады және оларды қалай тексеруге болады?
RFC 9309 краулерлер кэштелген robots.txt-ті 24 сағаттан артық пайдаланбауы керек дейді, ал OpenAI мен Perplexity өзгерістердің қолданылуына шамамен бір күн кетуі мүмкін екенін айтады. Сондай-ақ robots.txt қолжетімділікті басқару емес екенін есте сақтаңыз: ережелеріңіз рұқсат еткен краулерді файрвол бәрібір бұғаттай алады.
AISeeWhy тексеретін әр краулер үшін robots.txt файлыңызды RFC 9309 бойынша талдайды, қолжетімсіз немесе HTML ретінде берілетін файлдарды белгілейді, ережелеріңіз бен серверіңіздің қай жерде келіспейтінін көрсетеді және өзгеріс үшін дайын diff береді.
Бұл мәселені түзету жолдары
- robots.txt GPTBot краулеріне рұқсат береді, бірақ сервер оны бұғаттайды
- robots.txt OAI-SearchBot краулеріне тыйым салады
- robots.txt — HTML беті
- robots.txt ішінде Content-Signal жоқ
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
GPTBot немесе ClaudeBot-ты бұғаттау ЖИ жауаптарындағы көрінуіме зиян тигізе ме?
Тікелей емес. Екі жеткізуші де іздеу үшін бөлек іздеу краулерлерін, OAI-SearchBot пен Claude-SearchBot пайдаланады. Оқыту краулерін бұғаттау — саясат таңдауы.
Google-Extended AI Overviews-ты тоқтата ма?
Жоқ. Google Search-тегі ЖИ функциялары Googlebot-ты және nosnippet пен noindex сияқты әдеттегі Search баптауларын пайдаланатынын айтады. Google-Extended басқа Google өнімдеріндегі Gemini оқыту мен негіздеуді қамтиды және Search-ке әсер етпейді.
ЖИ краулерлері Crawl-delay қолдай ма?
Ол RFC 9309 құрамына кірмейді. Anthropic Crawl-delay директивасын стандартты емес кеңейтім ретінде қолдайтынын айтады; басқа жеткізушілер үшін олардың құжаттамасын тексеріңіз.
robots.txt қай жерде орналасуы керек?
Әр хосттың түбірінде, мысалы https://example.com/robots.txt. Ішкі қалтадағы файл еленбейді, ал әр субдоменге өз файлы керек.
Дереккөздер
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI краулерлеріне шолу
- Google: Жалпы краулерлер, оның ішінде Google-Extended
- Apple: Applebot туралы
- Cloudflare: Managed robots.txt және Content Signals