robots.txt OAI-SearchBot краулеріне тыйым салады

Қысқа жауап

robots.txt файлыңызда осы краулер токені үшін осы бетке сәйкес келетін Disallow ережесі бар. Аудит RFC 9309 стандартын қолданады: краулердің өз тобы болса — сол топ, болмаса — * тобы, және ең ұзын сәйкес ереже басым болады. Краулерді өткізгіңіз келсе, оған Allow қосыңыз немесе ережені алып тастаңыз.

robots.disallowed · Басымдық: P1–P3, краулер түріне қарай

Бұл нені білдіреді

robots.txt ережелеріңіз OAI-SearchBot краулеріне / жолын алуға тыйым салады.

Бұл ЖИ іздеу үшін неге маңызды

Тәртіпті ЖИ краулерлері robots.txt-ке бағынады. OAI-SearchBot, Claude-SearchBot немесе PerplexityBot краулеріне тыйым салынса, бет олардың іздеу индекстері үшін алынбайды, сондықтан олардың жауаптарында одан дәйексөз келтірілмейді. GPTBot, ClaudeBot, Google-Extended немесе Applebot-Extended сияқты оқыту токендеріне тыйым салу тек модельді оқытуға пайдалануды тоқтатады.

Көп сайт ЖИ краулерлерін байқаусызда бұғаттайды: Googlebot-тан басқаның бәріне тыйым салатын үлгі немесе staging-тен қалып қойған Disallow: / бар User-agent: * тобы. Applebot өз тобы болмаса, Googlebot тобын пайдаланатынын ескеріңіз.

Қалай түзетуге болады

  1. Ережені мәселеден табыңыз: онда краулер токені мен жол көрсетілген. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.
  2. Краулер токенін бетке тыйым салатын кез келген топтан алып тастап, оған Allow: / бар жеке топ қосыңыз. Нақты топ сол краулер үшін * тобын алмастырады, сондықтан * астындағы ережелер оған енді қолданылмайды.
  3. WordPress-те robots.txt веб-түбірдегі нақты файл ма, әлде Yoast немесе Rank Math сияқты SEO плагині генерациялай ма, тексеріп, сол жерде өңдеңіз. Shopify-да robots.txt.liquid тақырып үлгісін өңдеңіз.
  4. Cloudflare-де басқарылатын robots.txt параметрі өз файлыңыздың үстіне ЖИ краулерлері үшін ережелер қоса ма, тексеріңіз.
  5. Саясатыңыз сондай болса, оқыту токендеріне тыйымды қалдырыңыз; бұл бөлек токендерді пайдаланатын іздеу краулерлеріне әсер етпейді.

Мысал

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Түзетуді қалай растауға болады

Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.

Бетімді тексеру →

Байланысты нұсқаулықтар

Барлық мәселелер және баға қалай есептеледі