robots.txt OAI-SearchBot краулеріне тыйым салады
robots.txt файлыңызда осы краулер токені үшін осы бетке сәйкес келетін Disallow ережесі бар. Аудит RFC 9309 стандартын қолданады: краулердің өз тобы болса — сол топ, болмаса — * тобы, және ең ұзын сәйкес ереже басым болады. Краулерді өткізгіңіз келсе, оған Allow қосыңыз немесе ережені алып тастаңыз.
Бұл нені білдіреді
robots.txt ережелеріңіз OAI-SearchBot краулеріне / жолын алуға тыйым салады.
Бұл ЖИ іздеу үшін неге маңызды
Тәртіпті ЖИ краулерлері robots.txt-ке бағынады. OAI-SearchBot, Claude-SearchBot немесе PerplexityBot краулеріне тыйым салынса, бет олардың іздеу индекстері үшін алынбайды, сондықтан олардың жауаптарында одан дәйексөз келтірілмейді. GPTBot, ClaudeBot, Google-Extended немесе Applebot-Extended сияқты оқыту токендеріне тыйым салу тек модельді оқытуға пайдалануды тоқтатады.
Көп сайт ЖИ краулерлерін байқаусызда бұғаттайды: Googlebot-тан басқаның бәріне тыйым салатын үлгі немесе staging-тен қалып қойған Disallow: / бар User-agent: * тобы. Applebot өз тобы болмаса, Googlebot тобын пайдаланатынын ескеріңіз.
Қалай түзетуге болады
- Ережені мәселеден табыңыз: онда краулер токені мен жол көрсетілген. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.
- Краулер токенін бетке тыйым салатын кез келген топтан алып тастап, оған
Allow: /бар жеке топ қосыңыз. Нақты топ сол краулер үшін*тобын алмастырады, сондықтан*астындағы ережелер оған енді қолданылмайды. - WordPress-те robots.txt веб-түбірдегі нақты файл ма, әлде Yoast немесе Rank Math сияқты SEO плагині генерациялай ма, тексеріп, сол жерде өңдеңіз. Shopify-да
robots.txt.liquidтақырып үлгісін өңдеңіз. - Cloudflare-де басқарылатын robots.txt параметрі өз файлыңыздың үстіне ЖИ краулерлері үшін ережелер қоса ма, тексеріңіз.
- Саясатыңыз сондай болса, оқыту токендеріне тыйымды қалдырыңыз; бұл бөлек токендерді пайдаланатын іздеу краулерлеріне әсер етпейді.
Мысал
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Түзетуді қалай растауға болады
Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.