AI kraulerlari uchun robots.txt tester va tekshiruvi
Sahifa manzilini kiriting: biz saytning robots.txt faylini oʻqiymiz va har bir AI va qidiruv krauleri uchun u shu sahifani yuklashi mumkinligini koʻrsatamiz. Yoki robots.txtʼni eʼlon qilishdan oldin sinash uchun uni joylashtiring.
robots.txt — bu faqat iltimos. Firewall yoki botlardan himoya robots.txt ruxsat bergan kraulerni baribir bloklashi mumkin; toʻliq tekshiruv buni sinaydi. Toʻliq tekshiruvni boshlash →
Har bir krauler oʻz tokenini (masalan, GPTBot yoki PerplexityBot) nomlagan guruhga amal qiladi; faqat bunday guruh boʻlmasa, User-agent: * ga amal qiladi. Guruh ichida eng uzun mos keladigan qoida ustun keladi, teng boʻlsa Allow ustun. GPTBot, ClaudeBot yoki Google-Extended kabi oʻqitish kraulerlarini bloklash kontentingizni modellarni oʻqitishdan chetda saqlaydi; OAI-SearchBot, ChatGPT-User yoki PerplexityBot kabi qidiruv va foydalanuvchi kraulerlarini bloklash esa sahifalaringizni AI javoblaridan chetda qoldiradi.
Qoʻllanma
robots.txt testeridan qanday foydalanish kerak
Bu matn ingliz tilidan mashina tarjimasi yordamida tarjima qilingan.
Bu robots.txt tester nimani tekshiradi
Sahifa manzilini kiriting. Tester shu manzilning sxemasi va hostini oladi, shu host ildizidan /robots.txt faylini oʻqiydi va uning qoidalarini sahifangiz yoʻli uchun baholaydi. U 16 ta kraulerning har biri uchun bitta savolga javob beradi: bu krauler shu sahifani yuklashi mumkinmi?
Kraulerlar bajaradigan ishiga koʻra guruhlangan. Oʻqitish kraulerlari AI modellari uchun sahifalarni toʻplaydi: GPTBot, ClaudeBot, CCBot, Bytespider va Meta-ExternalAgent, shuningdek faqat robots.txt uchun moʻljallangan Google-Extended va Applebot-Extended tokenlari; ular oʻzi saytga kirmaydi, lekin Google va Appleʼga allaqachon yuklagan sahifalaridan foydalanishi mumkinligini bildiradi. Qidiruv kraulerlari AI javoblari va qidiruv natijalari iqtibos keltiradigan indekslarni quradi: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot va Applebot. Foydalanuvchi agentlari inson assistentdan sahifani ochishni soʻraganda uni yuklaydi: ChatGPT-User, Claude-User va Perplexity-User.
Manzil oʻrniga robots.txt matnini ham joylashingiz mumkin. Bunda hech narsa yuklanmaydi: tester siz joylagan matnni baholaydi, shuning uchun oʻzgarishni eʼlon qilishdan oldin sinab koʻrishingiz mumkin. Joylangan matn faqat javob berish uchun ishlatiladi va saqlanmaydi.
Natijalarni qanday oʻqish kerak
Jadvalda har bir krauler uchun bitta qator bor. Yoʻlingiz ustunida Ruxsat berilgan yoki Bloklangan deb yoziladi. Oxirgi ustun faylning qaysi qismi qaror qilganini koʻrsatadi:
Oʻz guruhi: faylda shu krauler tokeni yozilgan User-agent qatori bor va u uchun faqat shu guruh qoidalari amal qiladi.
User-agent: *: hech bir guruh kraulerni nomlamaydi, shuning uchun u umumiy guruhga amal qiladi.
Qoida yoʻq: umuman hech bir guruh qoʻllanmaydi, shuning uchun sahifaga ruxsat beriladi.
Jadval ostida fayl koʻrsatgan Sitemap qatorlarini va agar boʻlsa, Content-Signal qatorini koʻrasiz. Manzil matn fayli oʻrniga veb-sahifa qaytargan boʻlsa yoki umuman fayl qaytarmagan boʻlsa, tester buni aytadi: kraulerlar /robots.txt manzilidagi HTML sahifani fayl yoʻqligi deb qabul qiladi.
Ruxsat berilgan deb yozilgan qator faqat robots.txt shu kraulerni toʻxtatmasligini bildiradi. Bu krauler albatta kiradi degani emas va firewallʼingiz haqida hech narsa aytmaydi.
Krauler oʻz qoidalarini qanday tanlaydi
robots.txt standarti boʻlgan RFC 9309 deyarli har qanday kutilmagan natijani tushuntiradigan uchta qoidani belgilaydi. Krauler avval User-agent qatori oʻz tokeniga mos keladigan guruhlarni katta-kichik harfga qaramay qidiradi. Agar shunday guruh topsa, faqat oʻsha guruhlarga amal qiladi va User-agent: * guruhini butunlay eʼtiborsiz qoldiradi. Tanlangan guruh ichida eng uzun mos yoʻlli qoida gʻolib boʻladi, Allow va Disallow bir xil uzunlikda mos kelsa, Allow gʻolib boʻladi.
Bu fayl bilan GPTBot barcha sahifalardan bloklanadi, chunki uning oʻz guruhi bor. Qolgan barcha kraulerlar /private/press/kit.pdf faylini yuklashi mumkin, chunki Allow: /private/press/ qoidasi Disallow: /private/ qoidasidan uzunroq, /private/notes/ esa ular uchun bloklangan. Ikkala yoʻlni testerda tekshiring va qaror bir guruhdan boshqasiga oʻtganini koʻrasiz.
Keng tarqalgan xatolar, misollar bilan
Ketma-ket User-agent qatorlari bitta guruhni tashkil qiladi. Avval User-agent: GPTBot, keyin User-agent: OAI-SearchBot, keyin Disallow: / yozilgan fayl ikkala kraulerni ham bloklaydi, natijada oʻqitishni toʻxtatmoqchi boʻlgan sayt ChatGPT qidiruvidan ham yoʻqoladi.
Notoʻgʻri OpenAI tokenini bloklash. GPTBot oʻqitish maʼlumotlarini toʻplaydi; OAI-SearchBot esa ChatGPT qidiruvi sizni koʻrsatishi va sizdan iqtibos keltirishi mumkinligini hal qiladi. Oʻqitishni toʻxtatish uchun OAI-SearchBot yoki ChatGPT-Userni bloklash buning oʻrniga sizni javoblardan olib tashlaydi.
Bitta belgi qoidani teskarisiga oʻzgartiradi. Ortidan hech narsa yozilmagan Disallow: hamma narsaga ruxsat beradi; Disallow: / hamma narsani bloklaydi.
Wildcard belgilari ehtiyotkorlik talab qiladi. Disallow: /*.pdf/file.pdf?download=1 manzilini ham bloklaydi; Disallow: /*.pdf$ faqat .pdf bilan tugaydigan manzillarni bloklaydi.
Fayl notoʻgʻri hostda turibdi. robots.txt faqat u berilayotgan sxema va host uchun amal qiladi, shuning uchun www.example.com, example.com va shop.example.com har biriga alohida fayl kerak.
Server xato bilan javob beradi. 4xx javobi kraulerlar hamma narsani yuklashi mumkinligini bildiradi. 5xx javobi yoki kutish vaqti tugashi fayl qayta oʻqilmaguncha ular hamma narsa taqiqlangan deb hisoblashi kerakligini bildiradi, shuning uchun buzilgan /robots.txt butun skanerlashni toʻxtatishi mumkin.
Kraulerlar amal qilmaydigan qoidalar. Noindex: va Crawl-delay: RFC 9309 tarkibiga kirmaydi va Google ikkalasini ham eʼtiborsiz qoldiradi.
robots.txt sahifani qidiruvdan olib tashlashini kutish. U indekslashni emas, skanerlashni toʻxtatadi: bloklangan manzil matnisiz boʻlsa ham roʻyxatda chiqishi mumkin. Sahifani indeksdan chetda saqlash uchun skanerlashga ruxsat bering va noindex meta tegi yoki sarlavhasidan foydalaning.
Oʻqitish, qidiruv va foydalanuvchi kraulerlari: har birini bloklash nima qiladi
Oʻqitish kraulerini bloklash siyosat tanlovidir. Bu sahifalaringizni kelajakdagi model oʻqitishidan chetda saqlaydi va AI qidiruvi bugun sizdan iqtibos keltira olishiga taʼsir qilmaydi. OAI-SearchBot, Claude-SearchBot yoki PerplexityBot kabi qidiruv kraulerini bloklash sahifalaringizni oʻsha assistent javoblaridan chetda qoldiradi. Googlebot yoki Bingbotni bloklash sizni oʻsha qidiruv tizimlaridan va ular asosida qurilgan AI funksiyalaridan olib tashlaydi.
ChatGPT-User kabi foydalanuvchi agentlari sahifangizni soʻragan inson nomidan ishlaydi. Baʼzi provayderlar aytishicha, bunday soʻrovlarda bu agentlar robots.txt ga amal qilmasligi mumkin, shuning uchun ular uchun qoida kafolat emas, iltimosdir. Oʻqitishni oʻchirib, AI qidiruvini yoqiq qoldirmoqchi boʻlsangiz, oʻqitish tokenlarini bloklang, qidiruv va foydalanuvchi tokenlariga tegmang.
Eʼlon qilishdan oldin tekshiring, keyin yana tekshiring
Qoralamangizni testerga joylang, mahsulot yoki narxlar sahifasi kabi muhim sahifa yoʻlini belgilang va siz uchun muhim boʻlgan har bir krauler qatorini oʻqing. Bloklamoqchi boʻlgan yoʻl bilan takrorlang. Natijalar niyatingizga mos kelganda faylni eʼlon qiling va testerni jonli manzil bilan qayta ishga tushiring: bu server siz tahrirlagan faylni qaytarayotganini isbotlaydi.
Kraulerlar robots.txt ni keshlaydi; masalan, Google odatda oʻz nusxasini 24 soat ichida yangilaydi. Oʻzgarish ularning xatti-harakatida koʻrinishi uchun bir kun ketishi mumkin, Google Search Consoleʼdagi robots.txt hisoboti esa Google oxirgi marta yuklagan nusxani koʻrsatadi.
robots.txt kraulerga ruxsat bersa ham, u bloklanib qolsa
robots.txt faqat iltimos. Odamlar sahifani olayotgan paytda ham firewall, botlardan himoya xizmati yoki CDN qoidasi kraulerga 403 yoki challenge sahifasi bilan javob berishi mumkin. Tester buni koʻra olmaydi, chunki u faqat bitta faylni oʻqiydi. Toʻliq tekshiruv sahifangizni oddiy brauzer bilan yonma-yon har bir kraulerning user agenti bilan yuklaydi va qaysi krauler boshqacha javob olayotganini HTTP status va firewall imzosi bilan koʻrsatadi.
Koʻp beriladigan savollar
Bu Googleʼning robots.txt Tester vositasi bilan bir xilmi?
Yoʻq. Google oʻzining alohida robots.txt Tester vositasini 2023-yilda toʻxtatdi; endi Search Consoleʼdagi robots.txt hisoboti faqat Google kraulerlari uchun Google yuklagan fayl va tahlil xatolarini koʻrsatadi. Bu tester xuddi shu RFC 9309 qoidalarini bir vaqtda 16 ta AI va qidiruv krauleriga qoʻllaydi.
Ruxsat berilgan degani krauler sahifamni oʻqiydi yoki undan iqtibos keltiradi deganimi?
Yoʻq. Bu robots.txt buni taqiqlamasligini bildiradi. Krauler sahifani olishi serveringiz va firewallʼingizga, assistent undan iqtibos keltirishi esa kontentingiz va berilgan savolga bogʻliq.
Nega kraulerda “qoida yoʻq” deb koʻrsatiladi?
Faylingizda uning tokeni uchun guruh ham, User-agent: * guruhi ham yoʻq, shuning uchun unga hech narsa qoʻllanmaydi va barcha yoʻllarga ruxsat beriladi.
Hali eʼlon qilinmagan robots.txt ni tekshira olamanmi?
Ha. Matnni ikkinchi maydonga joylang va tekshiriladigan yoʻlni kiriting. Saytingizdan hech narsa yuklanmaydi va joylangan matn saqlanmaydi.
Tester GPTBot yoki boshqa kraulerlar nomidan soʻrov yuboradimi?
Yoʻq. U faqat robots.txt faylingizni oʻqiydi va qoidalarni qoʻllaydi. Har bir krauler serveringizdan aslida nima olishini koʻrish uchun toʻliq tekshiruvni ishga tushiring.
Undan qanchalik tez-tez foydalanishim mumkin?
U bepul va hisob talab qilmaydi. Hamma uchun ochiq qolishi uchun har bir tarmoq soatiga cheklangan miqdorda test oʻtkazishi mumkin.