robots.txt e ndalon OAI-SearchBot
robots.txt juaj ka një rregull Disallow që përputhet me këtë faqe për token-in e këtij zvarritësi. Auditimi zbaton RFC 9309: grupin e vetë zvarritësit nëse ka një të tillë, përndryshe grupin *, dhe fiton rregulli më i gjatë që përputhet. Shtoni një Allow për zvarritësin ose hiqni rregullin nëse doni ta lejoni.
Çfarë do të thotë
Rregullat e robots.txt tuaj e ndalojnë OAI-SearchBot të marrë /.
Pse ka rëndësi për kërkimin me AI
Zvarritësit AI që sillen mirë i binden robots.txt. Nëse OAI-SearchBot, Claude-SearchBot ose PerplexityBot ndalohen, faqja nuk merret për indekset e tyre të kërkimit, ndaj nuk mund të citohet në përgjigjet e tyre. Ndalimi i token-ëve të trajnimit si GPTBot, ClaudeBot, Google-Extended ose Applebot-Extended ndalon vetëm përdorimin për trajnimin e modeleve.
Shumë sajte i bllokojnë zvarritësit AI pa dashur: një shabllon që ndalon gjithçka përveç Googlebot, ose një grup User-agent: * me Disallow: / i mbetur nga staging-u. Kini parasysh që Applebot përdor grupin e Googlebot kur nuk ka grup të vetin.
Si ta rregulloni
- Gjeni rregullin në gjetje: ai emërton token-in e zvarritësit dhe shtegun. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
- Hiqeni token-in e zvarritësit nga çdo grup që e ndalon faqen, pastaj shtoni një grup të veçantë për të me
Allow: /. Një grup specifik e zëvendëson grupin*për atë zvarritës, ndaj rregullat nën*nuk vlejnë më për të. - Në WordPress, kontrolloni nëse robots.txt është skedar real në rrënjën e web-it apo krijohet nga një plugin SEO si Yoast ose Rank Math, dhe redaktojeni aty. Në Shopify, redaktoni shabllonin e temës
robots.txt.liquid. - Në Cloudflare, kontrolloni nëse një cilësim i menaxhuar i robots.txt shton rregulla për zvarritësit AI mbi skedarin tuaj.
- Mbajini token-ët e trajnimit të ndaluar nëse kjo është politika juaj; kjo nuk prek zvarritësit e kërkimit që përdorin token-ë të veçantë.
Shembull
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Si ta konfirmoni rregullimin
Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.