robots.txt e ndalon OAI-SearchBot

Përgjigje e shkurtër

robots.txt juaj ka një rregull Disallow që përputhet me këtë faqe për token-in e këtij zvarritësi. Auditimi zbaton RFC 9309: grupin e vetë zvarritësit nëse ka një të tillë, përndryshe grupin *, dhe fiton rregulli më i gjatë që përputhet. Shtoni një Allow për zvarritësin ose hiqni rregullin nëse doni ta lejoni.

robots.disallowed · Prioriteti: P1–P3, sipas llojit të zvarritësit

Çfarë do të thotë

Rregullat e robots.txt tuaj e ndalojnë OAI-SearchBot të marrë /.

Pse ka rëndësi për kërkimin me AI

Zvarritësit AI që sillen mirë i binden robots.txt. Nëse OAI-SearchBot, Claude-SearchBot ose PerplexityBot ndalohen, faqja nuk merret për indekset e tyre të kërkimit, ndaj nuk mund të citohet në përgjigjet e tyre. Ndalimi i token-ëve të trajnimit si GPTBot, ClaudeBot, Google-Extended ose Applebot-Extended ndalon vetëm përdorimin për trajnimin e modeleve.

Shumë sajte i bllokojnë zvarritësit AI pa dashur: një shabllon që ndalon gjithçka përveç Googlebot, ose një grup User-agent: * me Disallow: / i mbetur nga staging-u. Kini parasysh që Applebot përdor grupin e Googlebot kur nuk ka grup të vetin.

Si ta rregulloni

  1. Gjeni rregullin në gjetje: ai emërton token-in e zvarritësit dhe shtegun. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
  2. Hiqeni token-in e zvarritësit nga çdo grup që e ndalon faqen, pastaj shtoni një grup të veçantë për të me Allow: /. Një grup specifik e zëvendëson grupin * për atë zvarritës, ndaj rregullat nën * nuk vlejnë më për të.
  3. Në WordPress, kontrolloni nëse robots.txt është skedar real në rrënjën e web-it apo krijohet nga një plugin SEO si Yoast ose Rank Math, dhe redaktojeni aty. Në Shopify, redaktoni shabllonin e temës robots.txt.liquid.
  4. Në Cloudflare, kontrolloni nëse një cilësim i menaxhuar i robots.txt shton rregulla për zvarritësit AI mbi skedarin tuaj.
  5. Mbajini token-ët e trajnimit të ndaluar nëse kjo është politika juaj; kjo nuk prek zvarritësit e kërkimit që përdorin token-ë të veçantë.

Shembull

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Si ta konfirmoni rregullimin

Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.

Kontrollo faqen time →

Udhëzues të ngjashëm

Të gjitha gjetjet dhe si funksionon rezultati