Saytingizni qaysi AI kraulerlari oʻqishi mumkinligini tanlang va yaratilgan robots.txtʼni nusxalang. Keng tarqalgan tanlov — GPTBot va ClaudeBot kabi AI oʻqitish kraulerlarini bloklash, lekin OAI-SearchBot va PerplexityBot kabi AI qidiruv kraulerlariga ruxsat berish, shunda sahifalaringiz AI javoblarida baribir koʻrinishi va iqtibos qilinishi mumkin.
Foydalanuvchi soʻrovi bilan yuklovchilarni bloklashning taʼsiri cheklangan: baʼzi ishlab chiquvchilar bu agentlar robots.txtʼga amal qilmasligi mumkinligini aytadi, chunki sahifani odam soʻragan. Eʼlon qilishdan oldin natijani robots.txt tekshiruvi bilan sinab koʻring. AI kraulerlari uchun robots.txt tester va tekshiruvi →
Qanday foydalanish kerak
Faylni domeningiz ildiziga joylashtiring (https://example.com/robots.txt). Agar sizda boshqa kraulerlar uchun qoidalar boʻlsa, ularni qoldiring va faqat AI guruhlarini qoʻshing. Oʻzgarishlar har bir krauler faylni keyingi safar oʻqiganda kuchga kiradi, odatda bir kun ichida.
Bu matn ingliz tilidan mashina tarjimasi yordamida tarjima qilingan.
Generator nima yozadi
Saytingizni oʻqishi mumkin boʻlgan kraulerlarni belgilang va bloklamoqchi boʻlganlaringiz belgisini olib tashlang. Generator har bir bloklangan krauler uchun bitta guruh boʻlgan robots.txt yozadi: User-agent: <token> va undan keyin Disallow: /, soʻngra qolgan hamma narsaga ruxsat beradigan yakuniy User-agent: * guruhi. Sitemap manzilini qoʻshsangiz, u Sitemap qatorini qoʻshadi. Content-Signal parametrlarini belgilasangiz, kontentingizdan qanday foydalanish mumkinligini bildiradigan Content-Signal qatorini qoʻshadi.
Brauzeringizdan hech narsa chiqmaydi: fayl siz bosgan sari sahifada yaratiladi va siz uni natija maydonidan nusxalab olasiz.
Qaysi andozadan boshlash kerak
Hammasiga ruxsat: har bir krauler har bir sahifani oʻqishi mumkin. Topilishni va iqtibos keltirilishini istaydigan koʻpchilik saytlar uchun toʻgʻri keladi.
Oʻqitishni bloklash, AI qidiruviga ruxsat: GPTBot, ClaudeBot, CCBot va Google-Extended kabi oʻqitish kraulerlari bloklanadi; OAI-SearchBot, Claude-SearchBot, PerplexityBot va ChatGPT-User kabi qidiruv va foydalanuvchi kraulerlariga ruxsat qoladi. Sahifalaringiz AI javoblarida baribir chiqishi va ulardan iqtibos keltirilishi mumkin.
Barcha AI kraulerlarini bloklash: roʻyxatdagi har bir AI krauleri bloklanadi. Sahifalaringiz oʻsha kraulerlar tomonidan AI javoblari uchun yuklanmaydi, bu odatda kamroq iqtibos va assistentlardan kamroq trafikni anglatadi.
Misol: oʻqitishni bloklash, AI qidiruviga ruxsat
Har bir bloklangan kraulerning oʻz guruhi bor, shuning uchun uning Disallow: / qoidasi faqat unga tegishli. Qolgan barcha kraulerlar, jumladan OAI-SearchBot va Googlebot, User-agent: * guruhiga tushadi va hamma narsani oʻqishi mumkin. Content-Signal qatori xuddi shu niyatni uni oʻqiydigan kraulerlar uchun takrorlaydi: qidiruv va real vaqtdagi javoblarga ha, oʻqitishga yoʻq.
Almashtirmang, birlashtiring. Joriy robots.txt faylingizda admin boʻlimlari, savatlar yoki qidiruv sahifalari uchun qoidalar boʻlsa, ularni yangi faylning User-agent: * guruhiga koʻchiring, aks holda oʻsha boʻlimlarni barcha kraulerlarga ochib qoʻyasiz.
Faylni har bir host ildiziga joylang: https://example.com/robots.txt. Subdomenga oʻz fayli kerak.
Uni 200 statusi bilan oddiy matn sifatida bering. Shu manzildagi HTML sahifa yoki xato robots.txt sifatida ishlamaydi.
Natijani robots.txt testeriga joylang va siz uchun muhim kraulerlar uchun bir nechta haqiqiy yoʻlni tekshiring.
robots.txt iltimos ekanini unutmang. Firewall siz ruxsat bergan kraulerni bloklasa, fayl buni tuzata olmaydi; toʻliq tekshiruv buni koʻrsatadi.
Keng tarqalgan xatolar
Oʻqitishni toʻxtatish uchun OAI-SearchBot yoki PerplexityBotni bloklash. Bular qidiruv kraulerlari; ularni bloklash sizni javoblardan olib tashlaydi.
Faqat bittasini bloklamoqchi boʻlib, bitta Disallow: / ustiga bir nechta User-agent qatorini yozish: ketma-ket qatorlar bitta guruhni tashkil qiladi.
ChatGPT-User kabi foydalanuvchi soʻrovi bilan ishlaydigan fetcherlar blokka amal qiladi deb kutish. Baʼzi provayderlar aytishicha, sahifani inson soʻraganda bu agentlar robots.txt ga amal qilmasligi mumkin.
Crawl-delay yoki Noindex qatorlarini qoʻshish. Ular RFC 9309 tarkibiga kirmaydi va Google ikkalasini ham eʼtiborsiz qoldiradi.
Koʻp beriladigan savollar
GPTBotʼni bloklash saytimni ChatGPTʼdan olib tashlaydimi?
Yoʻq. GPTBot oʻqitish maʼlumotlarini toʻplaydi. ChatGPT qidiruvi OAI-SearchBotdan foydalanadi, ChatGPT-User esa odamlar soʻragan sahifalarni ochadi. Iqtibos keltirilishini istasangiz, ularga ruxsat bering.
Content-Signal nima?
robots.txt dagi kontentingizdan qanday foydalanish mumkinligini bildiradigan qator: search, ai-input (real vaqtdagi javoblar) va ai-train (oʻqitish), har biri ha yoki yoʻq. Qoʻllab-quvvatlash provayderga qarab farq qiladi; kraulerlar amal qiladigan qoida baribir kraulerga xos guruhlar boʻlib qoladi.
Google-Extended Google Searchʼga taʼsir qiladimi?
Yoʻq. Bu Google sahifalaringizdan oʻz AI modellari uchun foydalana olishini boshqaradigan faqat robots.txt uchun moʻljallangan token; u Google Searchʼdagi skanerlash yoki reytingni oʻzgartirmaydi.
Tanlovim biror joyga yuboriladimi?
Yoʻq. Generator brauzeringizda ishlaydi va siz faylni tekshirishni tanlamaguningizcha serverimizga hech narsa yuborilmaydi.