Piliin kung aling mga AI crawler ang maaaring magbasa ng site mo at kopyahin ang nabuong robots.txt. Karaniwang pinipili ang pag-block sa mga AI training crawler gaya ng GPTBot at ClaudeBot pero pinapayagan ang mga AI search crawler gaya ng OAI-SearchBot at PerplexityBot, para lumabas at mabanggit pa rin ang mga pahina mo sa mga AI na sagot.
Limitado ang epekto ng pag-block sa mga fetcher na hiniling ng user: sinasabi ng ilang vendor na maaaring hindi sumunod ang mga agent na ito sa robots.txt, dahil isang tao ang humiling ng pahina. Subukin ang resulta gamit ang robots.txt checker bago mo ito ilathala. robots.txt tester at checker para sa mga AI crawler →
Paano ito gamitin
Ilagay ang file sa root ng domain mo (https://example.com/robots.txt). Kung may mga rule ka na para sa ibang crawler, panatilihin ang mga ito at idagdag lang ang mga grupo para sa AI. Nagkakabisa ang mga pagbabago sa susunod na pagbasa ng bawat crawler sa file, kadalasan sa loob ng isang araw.
Isinalin ng makina ang tekstong ito mula sa Ingles.
Ano ang isinusulat ng generator
Lagyan ng tsek ang mga crawler na maaaring magbasa ng site mo at alisin ang tsek sa mga gusto mong i-block. Nagsusulat ang generator ng robots.txt na may isang grupo bawat naka-block na crawler, User-agent: <token> na sinusundan ng Disallow: /, pagkatapos ay isang panghuling grupong User-agent: * na nagpapahintulot sa lahat ng iba pa. Magdagdag ng sitemap address at magdadagdag ito ng linyang Sitemap. Lagyan ng tsek ang mga opsyon ng Content-Signal at magdadagdag ito ng linyang Content-Signal na nagsasabi kung paano maaaring gamitin ang content mo.
Walang lumalabas sa browser mo: binubuo ang file sa pahina habang nagki-click ka, at kinokopya mo ito mula sa output box.
Aling preset ang pagsisimulan
Payagan lahat: maaaring basahin ng bawat crawler ang bawat pahina. Angkop sa karamihan ng site na gustong matagpuan at masipi.
I-block ang training, payagan ang AI search: naka-block ang mga training crawler gaya ng GPTBot, ClaudeBot, CCBot at Google-Extended; nananatiling pinapayagan ang mga search at user crawler gaya ng OAI-SearchBot, Claude-SearchBot, PerplexityBot at ChatGPT-User. Maaari pa ring lumabas at masipi ang mga pahina mo sa mga sagot ng AI.
I-block lahat ng AI crawler: naka-block ang bawat AI crawler sa listahan. Hindi kukunin ng mga crawler na iyon ang mga pahina mo para sa mga sagot ng AI, na karaniwang nangangahulugang mas kaunting pagsipi at mas kaunting traffic mula sa mga assistant.
Isang halimbawa: i-block ang training, payagan ang AI search
May sariling grupo ang bawat naka-block na crawler, kaya sa kanya lang nalalapat ang Disallow: / nito. Lahat ng iba pang crawler, kasama ang OAI-SearchBot at Googlebot, ay napupunta sa User-agent: * at maaaring basahin ang lahat. Inuulit ng linyang Content-Signal ang parehong layunin para sa mga crawler na nagbabasa nito: oo sa search at mga real-time na sagot, hindi sa training.
Pagsamahin, huwag palitan. Kung may mga rule ang kasalukuyang robots.txt mo para sa mga admin area, cart o pahina ng search, kopyahin ang mga ito sa grupong User-agent: * ng bagong file, kung hindi ay mabubuksan mo ang mga lugar na iyon sa lahat ng crawler.
Ilagay ang file sa root ng bawat host: https://example.com/robots.txt. Kailangan ng subdomain ang sarili nitong file.
Isilbi ito bilang plain text na may status na 200. Hindi gumagana bilang robots.txt ang HTML page o error sa address na iyon.
I-paste ang resulta sa robots.txt tester at suriin ang ilang totoong path para sa mga crawler na mahalaga sa iyo.
Tandaang kahilingan ang robots.txt. Kung bina-block ng firewall ang crawler na pinapayagan mo, hindi iyon maaayos ng file; ipinapakita iyon ng buong pagsusuri.
Mga karaniwang pagkakamali
Pag-block sa OAI-SearchBot o PerplexityBot para pigilan ang training. Mga search crawler ang mga iyon; ang pag-block sa kanila ay nag-aalis sa iyo sa mga sagot.
Pagsulat ng ilang linyang User-agent sa itaas ng iisang Disallow: / kahit isa lang sa kanila ang gusto mong i-block: iisang grupo ang nabubuo ng mga magkakasunod na linya.
Pag-asang susunod sa block ang mga fetcher na hinihiling ng user gaya ng ChatGPT-User. Sinasabi ng ilang vendor na maaaring hindi sundin ng mga agent na ito ang robots.txt kapag hiniling ng isang tao ang pahina.
Pagdaragdag ng mga linyang Crawl-delay o Noindex. Hindi bahagi ng RFC 9309 ang mga ito at parehong binabalewala ng Google.
Mga madalas itanong
Maaalis ba sa ChatGPT ang site ko kapag bina-block ko ang GPTBot?
Hindi. Nangongolekta ng training data ang GPTBot. Gumagamit ang ChatGPT search ng OAI-SearchBot, at binubuksan ng ChatGPT-User ang mga pahinang hinihiling ng mga tao. Hayaang pinapayagan ang mga iyon kung gusto mong masipi.
Ano ang Content-Signal?
Isang linya sa robots.txt na nagsasabi kung paano maaaring gamitin ang content mo: search, ai-input (mga sagot nang real time) at ai-train (training), bawat isa oo o hindi. Nag-iiba ang suporta ayon sa vendor; ang mga grupong partikular sa crawler pa rin ang rule na sinusunod ng mga crawler.
Naaapektuhan ba ng Google-Extended ang Google Search?
Hindi. Token itong pang-robots.txt lang na kumokontrol kung maaaring gamitin ng Google ang mga pahina mo para sa mga AI model nito; hindi nito binabago ang pag-crawl o ranking sa Google Search.
Ipinapadala ba kahit saan ang pinili ko?
Hindi. Tumatakbo ang generator sa browser mo at walang ipinapadala sa server namin hangga't hindi mo piniling subukan ang file.