ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек

Жарияланды

Қысқа жауап

Өзіңізге маңызды әр ЖИ краулеріне жеке User-agent тобын беріңіз. Сілтеме алғыңыз келсе, OAI-SearchBot, Claude-SearchBot және PerplexityBot сияқты іздеу краулерлерін өткізіп, GPTBot, ClaudeBot, Google-Extended және Applebot-Extended сияқты оқыту токендері туралы бөлек шешім қабылдаңыз. Аталған топ сол краулер үшін * тобын алмастырады.

robots.txt — 1994 жылдан бері бар қарапайым мәтіндік файл, ол 2022 жылы RFC 9309 ресми стандартына айналды. ЖИ жеткізушілерінің көбі краулерлері оны сақтайтынын айтады, ал бірнешеуі іздеу мен оқыту үшін бөлек токендер жариялайды. Сондықтан robots.txt — ЖИ саясатын білдірудің ең қарапайым орны, тек ережелер сіз ойлағандай мағына беретін болса.

Осы бетте
  1. ЖИ краулерлері robots.txt-те қандай токендер пайдаланады?
  2. ЖИ үшін жақсы robots.txt қалай көрінеді?
  3. Краулерлер өздеріне қай ережелер қолданылатынын қалай таңдайды?
  4. robots.txt-тегі ең жиі қателер қандай?
  5. Рұқсат пен тыйымнан басқа ЖИ пайдалану саясатын көрсетуге бола ма?
  6. Өзгерістер қанша уақыт алады және оларды қалай тексеруге болады?

ЖИ краулерлері robots.txt-те қандай токендер пайдаланады?

Жеткізушілер құжаттайтын токендер төменде. RFC 9309 бойынша сәйкестендіру регистрге тәуелсіз.

ЖИ үшін жақсы robots.txt қалай көрінеді?

Бұл мысал ЖИ іздеуі мен пайдаланушы сұрауларын өткізеді, негізгі оқыту токендерінен бас тартады және бір жеке бөлімді барлығы үшін жабық ұстайды:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Қатар тұрған бірнеше User-agent жолы бір топ құрайды, сондықтан олардың астындағы ережелер сол краулерлердің әрқайсысына қолданылады. Мазмұныңыз оқытуға пайдаланылғанын қаласаңыз, екінші топты жай ғана алып тастаңыз. Google-Extended бұғаттау Google Search-ке әсер етпейді: Google ол Search-ке қосылуға әсер етпейтінін және рейтинг сигналы емес екенін айтады. Сол сияқты, Apple Applebot-Extended агентіне тыйым салатын беттер оның іздеу нәтижелерінде көріне беретінін айтады.

Краулерлер өздеріне қай ережелер қолданылатынын қалай таңдайды?

RFC 9309 мұны нақты анықтайды, және егжей-тегжейлері күтпеген жағдайлардың көбін түсіндіреді:

robots.txt-тегі ең жиі қателер қандай?

Рұқсат пен тыйымнан басқа ЖИ пайдалану саясатын көрсетуге бола ма?

Cloudflare robots.txt үшін үш сигналы бар Content-Signal жолын ұсынды: search (іздеу индексін құру және сілтемелер мен қысқа үзінділерді көрсету), ai-input (мазмұнды ЖИ жауаптары үшін нақты уақытта пайдалану) және ai-train (модельдерді оқыту немесе fine-tuning). Cloudflare-дің managed robots.txt функциясы оны сіз үшін қоса алады.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt-тегі бәрі сияқты, бұлар техникалық басқару емес, қалау ғана. Cloudflare-дің өзі robots.txt-ті сақтау ерікті екенін атап өтеді. Бұл жол міндетті емес және зиянсыз, бірақ ол жоғарыдағы әр краулерге арналған топтарды алмастырмайды.

Өзгерістер қанша уақыт алады және оларды қалай тексеруге болады?

RFC 9309 краулерлер кэштелген robots.txt-ті 24 сағаттан артық пайдаланбауы керек дейді, ал OpenAI мен Perplexity өзгерістердің қолданылуына шамамен бір күн кетуі мүмкін екенін айтады. Сондай-ақ robots.txt қолжетімділікті басқару емес екенін есте сақтаңыз: ережелеріңіз рұқсат еткен краулерді файрвол бәрібір бұғаттай алады.

AISeeWhy тексеретін әр краулер үшін robots.txt файлыңызды RFC 9309 бойынша талдайды, қолжетімсіз немесе HTML ретінде берілетін файлдарды белгілейді, ережелеріңіз бен серверіңіздің қай жерде келіспейтінін көрсетеді және өзгеріс үшін дайын diff береді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

GPTBot немесе ClaudeBot-ты бұғаттау ЖИ жауаптарындағы көрінуіме зиян тигізе ме?

Тікелей емес. Екі жеткізуші де іздеу үшін бөлек іздеу краулерлерін, OAI-SearchBot пен Claude-SearchBot пайдаланады. Оқыту краулерін бұғаттау — саясат таңдауы.

Google-Extended AI Overviews-ты тоқтата ма?

Жоқ. Google Search-тегі ЖИ функциялары Googlebot-ты және nosnippet пен noindex сияқты әдеттегі Search баптауларын пайдаланатынын айтады. Google-Extended басқа Google өнімдеріндегі Gemini оқыту мен негіздеуді қамтиды және Search-ке әсер етпейді.

ЖИ краулерлері Crawl-delay қолдай ма?

Ол RFC 9309 құрамына кірмейді. Anthropic Crawl-delay директивасын стандартты емес кеңейтім ретінде қолдайтынын айтады; басқа жеткізушілер үшін олардың құжаттамасын тексеріңіз.

robots.txt қай жерде орналасуы керек?

Әр хосттың түбірінде, мысалы https://example.com/robots.txt. Ішкі қалтадағы файл еленбейді, ал әр субдоменге өз файлы керек.

Дереккөздер

Басқа мақалалар