robots.txt generator para sa mga AI crawler

Piliin kung aling mga AI crawler ang maaaring magbasa ng site mo at kopyahin ang nabuong robots.txt. Karaniwang pinipili ang pag-block sa mga AI training crawler gaya ng GPTBot at ClaudeBot pero pinapayagan ang mga AI search crawler gaya ng OAI-SearchBot at PerplexityBot, para lumabas at mabanggit pa rin ang mga pahina mo sa mga AI na sagot.

Magsimula sa
AI training
AI search
Kuha na hiniling ng user
Content-Signal (opsyonal): lagyan ng check ang pinapayagan mo

Limitado ang epekto ng pag-block sa mga fetcher na hiniling ng user: sinasabi ng ilang vendor na maaaring hindi sumunod ang mga agent na ito sa robots.txt, dahil isang tao ang humiling ng pahina. Subukin ang resulta gamit ang robots.txt checker bago mo ito ilathala. robots.txt tester at checker para sa mga AI crawler →

Paano ito gamitin

Ilagay ang file sa root ng domain mo (https://example.com/robots.txt). Kung may mga rule ka na para sa ibang crawler, panatilihin ang mga ito at idagdag lang ang mga grupo para sa AI. Nagkakabisa ang mga pagbabago sa susunod na pagbasa ng bawat crawler sa file, kadalasan sa loob ng isang araw.

Patakbuhin ang buong pagsusuri →

Gabay

Paano gamitin ang robots.txt generator

Isinalin ng makina ang tekstong ito mula sa Ingles.

Ano ang isinusulat ng generator

Lagyan ng tsek ang mga crawler na maaaring magbasa ng site mo at alisin ang tsek sa mga gusto mong i-block. Nagsusulat ang generator ng robots.txt na may isang grupo bawat naka-block na crawler, User-agent: <token> na sinusundan ng Disallow: /, pagkatapos ay isang panghuling grupong User-agent: * na nagpapahintulot sa lahat ng iba pa. Magdagdag ng sitemap address at magdadagdag ito ng linyang Sitemap. Lagyan ng tsek ang mga opsyon ng Content-Signal at magdadagdag ito ng linyang Content-Signal na nagsasabi kung paano maaaring gamitin ang content mo.

Walang lumalabas sa browser mo: binubuo ang file sa pahina habang nagki-click ka, at kinokopya mo ito mula sa output box.

Aling preset ang pagsisimulan

Isang halimbawa: i-block ang training, payagan ang AI search

May sariling grupo ang bawat naka-block na crawler, kaya sa kanya lang nalalapat ang Disallow: / nito. Lahat ng iba pang crawler, kasama ang OAI-SearchBot at Googlebot, ay napupunta sa User-agent: * at maaaring basahin ang lahat. Inuulit ng linyang Content-Signal ang parehong layunin para sa mga crawler na nagbabasa nito: oo sa search at mga real-time na sagot, hindi sa training.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Bago ilathala

Mga karaniwang pagkakamali

Mga madalas itanong

Maaalis ba sa ChatGPT ang site ko kapag bina-block ko ang GPTBot?

Hindi. Nangongolekta ng training data ang GPTBot. Gumagamit ang ChatGPT search ng OAI-SearchBot, at binubuksan ng ChatGPT-User ang mga pahinang hinihiling ng mga tao. Hayaang pinapayagan ang mga iyon kung gusto mong masipi.

Ano ang Content-Signal?

Isang linya sa robots.txt na nagsasabi kung paano maaaring gamitin ang content mo: search, ai-input (mga sagot nang real time) at ai-train (training), bawat isa oo o hindi. Nag-iiba ang suporta ayon sa vendor; ang mga grupong partikular sa crawler pa rin ang rule na sinusunod ng mga crawler.

Naaapektuhan ba ng Google-Extended ang Google Search?

Hindi. Token itong pang-robots.txt lang na kumokontrol kung maaaring gamitin ng Google ang mga pahina mo para sa mga AI model nito; hindi nito binabago ang pag-crawl o ranking sa Google Search.

Ipinapadala ba kahit saan ang pinili ko?

Hindi. Tumatakbo ang generator sa browser mo at walang ipinapadala sa server namin hangga't hindi mo piniling subukan ang file.

Mga kaugnay na tool at gabay