AI kraulerlari uchun robots.txt generatori

Saytingizni qaysi AI kraulerlari oʻqishi mumkinligini tanlang va yaratilgan robots.txtʼni nusxalang. Keng tarqalgan tanlov — GPTBot va ClaudeBot kabi AI oʻqitish kraulerlarini bloklash, lekin OAI-SearchBot va PerplexityBot kabi AI qidiruv kraulerlariga ruxsat berish, shunda sahifalaringiz AI javoblarida baribir koʻrinishi va iqtibos qilinishi mumkin.

Boshlangʻich variant
AI oʻqitish
AI qidiruv
Foydalanuvchi soʻrovi bilan yuklash
Content-Signal (ixtiyoriy): ruxsat beradiganlaringizni belgilang

Foydalanuvchi soʻrovi bilan yuklovchilarni bloklashning taʼsiri cheklangan: baʼzi ishlab chiquvchilar bu agentlar robots.txtʼga amal qilmasligi mumkinligini aytadi, chunki sahifani odam soʻragan. Eʼlon qilishdan oldin natijani robots.txt tekshiruvi bilan sinab koʻring. AI kraulerlari uchun robots.txt tester va tekshiruvi →

Qanday foydalanish kerak

Faylni domeningiz ildiziga joylashtiring (https://example.com/robots.txt). Agar sizda boshqa kraulerlar uchun qoidalar boʻlsa, ularni qoldiring va faqat AI guruhlarini qoʻshing. Oʻzgarishlar har bir krauler faylni keyingi safar oʻqiganda kuchga kiradi, odatda bir kun ichida.

Toʻliq tekshiruvni boshlash →

Qoʻllanma

robots.txt generatoridan qanday foydalanish kerak

Bu matn ingliz tilidan mashina tarjimasi yordamida tarjima qilingan.

Generator nima yozadi

Saytingizni oʻqishi mumkin boʻlgan kraulerlarni belgilang va bloklamoqchi boʻlganlaringiz belgisini olib tashlang. Generator har bir bloklangan krauler uchun bitta guruh boʻlgan robots.txt yozadi: User-agent: <token> va undan keyin Disallow: /, soʻngra qolgan hamma narsaga ruxsat beradigan yakuniy User-agent: * guruhi. Sitemap manzilini qoʻshsangiz, u Sitemap qatorini qoʻshadi. Content-Signal parametrlarini belgilasangiz, kontentingizdan qanday foydalanish mumkinligini bildiradigan Content-Signal qatorini qoʻshadi.

Brauzeringizdan hech narsa chiqmaydi: fayl siz bosgan sari sahifada yaratiladi va siz uni natija maydonidan nusxalab olasiz.

Qaysi andozadan boshlash kerak

Misol: oʻqitishni bloklash, AI qidiruviga ruxsat

Har bir bloklangan kraulerning oʻz guruhi bor, shuning uchun uning Disallow: / qoidasi faqat unga tegishli. Qolgan barcha kraulerlar, jumladan OAI-SearchBot va Googlebot, User-agent: * guruhiga tushadi va hamma narsani oʻqishi mumkin. Content-Signal qatori xuddi shu niyatni uni oʻqiydigan kraulerlar uchun takrorlaydi: qidiruv va real vaqtdagi javoblarga ha, oʻqitishga yoʻq.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Eʼlon qilishdan oldin

Keng tarqalgan xatolar

Koʻp beriladigan savollar

GPTBotʼni bloklash saytimni ChatGPTʼdan olib tashlaydimi?

Yoʻq. GPTBot oʻqitish maʼlumotlarini toʻplaydi. ChatGPT qidiruvi OAI-SearchBotdan foydalanadi, ChatGPT-User esa odamlar soʻragan sahifalarni ochadi. Iqtibos keltirilishini istasangiz, ularga ruxsat bering.

Content-Signal nima?

robots.txt dagi kontentingizdan qanday foydalanish mumkinligini bildiradigan qator: search, ai-input (real vaqtdagi javoblar) va ai-train (oʻqitish), har biri ha yoki yoʻq. Qoʻllab-quvvatlash provayderga qarab farq qiladi; kraulerlar amal qiladigan qoida baribir kraulerga xos guruhlar boʻlib qoladi.

Google-Extended Google Searchʼga taʼsir qiladimi?

Yoʻq. Bu Google sahifalaringizdan oʻz AI modellari uchun foydalana olishini boshqaradigan faqat robots.txt uchun moʻljallangan token; u Google Searchʼdagi skanerlash yoki reytingni oʻzgartirmaydi.

Tanlovim biror joyga yuboriladimi?

Yoʻq. Generator brauzeringizda ishlaydi va siz faylni tekshirishni tanlamaguningizcha serverimizga hech narsa yuborilmaydi.

Tegishli vositalar va qoʻllanmalar