robots.txt-ის გენერატორი AI კრაულერებისთვის
აირჩიეთ, რომელ AI კრაულერებს შეუძლიათ თქვენი საიტის წაკითხვა, და დააკოპირეთ გენერირებული robots.txt. გავრცელებული არჩევანია AI სასწავლო კრაულერების, მაგალითად GPTBot-ისა და ClaudeBot-ის, დაბლოკვა და AI საძიებო კრაულერების, მაგალითად OAI-SearchBot-ისა და PerplexityBot-ის, დაშვება, რომ თქვენი გვერდები AI პასუხებში კვლავ ჩანდეს და ციტირდებოდეს.
მომხმარებლის მოთხოვნით მომუშავე აგენტების დაბლოკვას შეზღუდული ეფექტი აქვს: ზოგი მწარმოებელი აცხადებს, რომ ეს აგენტები შეიძლება robots.txt-ს არ მიჰყვნენ, რადგან გვერდი ადამიანმა მოითხოვა. გამოქვეყნებამდე შეამოწმეთ შედეგი robots.txt-ის შემმოწმებლით. robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის →
როგორ გამოვიყენოთ
განათავსეთ ფაილი თქვენი დომენის ძირში (https://example.com/robots.txt). თუ სხვა კრაულერებისთვის უკვე გაქვთ წესები, დატოვეთ ისინი და დაამატეთ მხოლოდ AI ჯგუფები. ცვლილებები ძალაში შედის, როცა თითოეული კრაულერი ფაილს შემდეგ ჯერზე წაიკითხავს, ჩვეულებრივ ერთი დღის განმავლობაში.
სრული შემოწმების გაშვება →
სახელმძღვანელო
როგორ გამოვიყენოთ robots.txt-ის გენერატორი
ეს ტექსტი ინგლისურიდან მანქანური თარგმანით არის თარგმნილი.
რას წერს გენერატორი
მონიშნეთ კრაულერები, რომლებსაც თქვენი საიტის წაკითხვა შეუძლიათ, და მოხსენით მონიშვნა მათ, რომელთა დაბლოკვაც გსურთ. გენერატორი წერს robots.txt-ს, რომელშიც თითო დაბლოკილ კრაულერს თითო ჯგუფი აქვს, User-agent: <token> და შემდეგ Disallow: /, ბოლოს კი დამხურავ User-agent: * ჯგუფს, რომელიც დანარჩენ ყველაფერს უშვებს. დაამატეთ sitemap-ის მისამართი და ის Sitemap სტრიქონს დაამატებს. მონიშნეთ Content-Signal-ის პარამეტრები და ის დაამატებს Content-Signal სტრიქონს, რომელიც აცხადებს, როგორ შეიძლება თქვენი კონტენტის გამოყენება.
თქვენი ბრაუზერიდან არაფერი გადის: ფაილი გვერდზე იქმნება დაწკაპუნებისას და მას გამოტანის ველიდან აკოპირებთ.
რომელი წინასწარი პარამეტრით დავიწყოთ
- ყველას დაშვება: ყველა კრაულერს შეუძლია ყველა გვერდის წაკითხვა. შესაფერისია საიტების უმეტესობისთვის, რომლებსაც სურთ, რომ იპოვონ და ციტირება გაუკეთონ.
- სწავლების დაბლოკვა, AI ძიების დაშვება: სასწავლო კრაულერები, მაგალითად
GPTBot, ClaudeBot, CCBot და Google-Extended, დაბლოკილია; საძიებო და მომხმარებლის კრაულერები, მაგალითად OAI-SearchBot, Claude-SearchBot, PerplexityBot და ChatGPT-User, დაშვებული რჩება. თქვენი გვერდები მაინც შეიძლება გამოჩნდეს და ციტირებული იყოს AI პასუხებში. - ყველა AI კრაულერის დაბლოკვა: სიაში არსებული ყველა AI კრაულერი დაბლოკილია. ეს კრაულერები თქვენს გვერდებს AI პასუხებისთვის არ მიიღებენ, რაც ჩვეულებრივ ნაკლებ ციტირებასა და ასისტენტებიდან ნაკლებ ტრაფიკს ნიშნავს.
მაგალითი: სწავლების დაბლოკვა, AI ძიების დაშვება
ყოველ დაბლოკილ კრაულერს საკუთარი ჯგუფი აქვს, ამიტომ მისი Disallow: / მხოლოდ მასზე ვრცელდება. ყველა სხვა კრაულერი, მათ შორის OAI-SearchBot და Googlebot, User-agent: *-ზე გადადის და ყველაფრის წაკითხვა შეუძლია. Content-Signal სტრიქონი იმავე განზრახვას იმეორებს კრაულერებისთვის, რომლებიც მას კითხულობენ: ძიება და რეალურ დროში პასუხები — დიახ, სწავლება — არა.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Sitemap: https://example.com/sitemap.xml
გამოქვეყნებამდე
- გააერთიანეთ, ნუ ჩაანაცვლებთ. თუ თქვენს მიმდინარე robots.txt-ში არის წესები ადმინისტრაციული ზონებისთვის, კალათებისთვის ან ძიების გვერდებისთვის, გადაიტანეთ ისინი ახალი ფაილის
User-agent: * ჯგუფში, თორემ ამ ზონებს ყველა კრაულერისთვის გახსნით. - განათავსეთ ფაილი თითოეული ჰოსტის ძირში:
https://example.com/robots.txt. ქვედომენს საკუთარი ფაილი სჭირდება. - მიაწოდეთ ის ჩვეულებრივ ტექსტად, სტატუსით 200. HTML გვერდი ან შეცდომა ამ მისამართზე robots.txt-ად არ მუშაობს.
- ჩასვით შედეგი robots.txt-ის ტესტერში და შეამოწმეთ რამდენიმე რეალური გზა თქვენთვის საინტერესო კრაულერებისთვის.
- გახსოვდეთ, რომ robots.txt თხოვნაა. თუ ფაირვოლი ბლოკავს კრაულერს, რომელსაც უშვებთ, ფაილი ამას ვერ გამოასწორებს; სრული შემოწმება ამას აჩვენებს.
გავრცელებული შეცდომები
OAI-SearchBot-ის ან PerplexityBot-ის დაბლოკვა სწავლების შესაჩერებლად. ესენი საძიებო კრაულერებია; მათი დაბლოკვა პასუხებიდან გაგრიცხავთ.- რამდენიმე
User-agent სტრიქონის დაწერა ერთი Disallow: /-ის ზემოთ, როცა მხოლოდ ერთის დაბლოკვა გინდოდათ: ერთმანეთის ქვეშ დაწერილი სტრიქონები ერთ ჯგუფს ქმნიან. - მოლოდინი, რომ მომხმარებლის მოთხოვნით მომუშავე აგენტები, მაგალითად
ChatGPT-User, დაბლოკვას დაემორჩილებიან. ზოგიერთი მომწოდებლის თქმით, ეს აგენტები შეიძლება robots.txt-ს არ მიჰყვებოდნენ, როცა გვერდი ადამიანმა მოითხოვა. Crawl-delay ან Noindex სტრიქონების დამატება. ისინი RFC 9309-ის ნაწილი არ არის და Google ორივეს უგულებელყოფს.
ხშირად დასმული კითხვები
ამოიღებს თუ არა GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-იდან?
არა. GPTBot სასწავლო მონაცემებს აგროვებს. ChatGPT-ის ძიება OAI-SearchBot-ს იყენებს, ხოლო ChatGPT-User ხსნის გვერდებს, რომლებსაც ადამიანები ითხოვენ. თუ ციტირება გსურთ, ისინი დაშვებული დატოვეთ.
რა არის Content-Signal?
სტრიქონი robots.txt-ში, რომელიც აცხადებს, როგორ შეიძლება თქვენი კონტენტის გამოყენება: search, ai-input (პასუხები რეალურ დროში) და ai-train (სწავლება), თითოეული დიახ ან არა. მხარდაჭერა მომწოდებლის მიხედვით განსხვავდება; წესად, რომელსაც კრაულერები მიჰყვებიან, კონკრეტული კრაულერის ჯგუფები რჩება.
მოქმედებს თუ არა Google-Extended Google Search-ზე?
არა. ეს მხოლოდ robots.txt-ში მოქმედი ტოკენია, რომელიც აკონტროლებს, შეუძლია თუ არა Google-ს თქვენი გვერდების გამოყენება თავისი AI მოდელებისთვის; ის არ ცვლის კრაულინგს ან რეიტინგს Google Search-ში.
იგზავნება სადმე ჩემი არჩევანი?
არა. გენერატორი თქვენს ბრაუზერში მუშაობს და ჩვენს სერვერზე არაფერი იგზავნება, სანამ ფაილის გამოცდას თავად არ გადაწყვეტთ.
დაკავშირებული ხელსაწყოები და სახელმძღვანელოები