robots.txt-ის გენერატორი AI კრაულერებისთვის

აირჩიეთ, რომელ AI კრაულერებს შეუძლიათ თქვენი საიტის წაკითხვა, და დააკოპირეთ გენერირებული robots.txt. გავრცელებული არჩევანია AI სასწავლო კრაულერების, მაგალითად GPTBot-ისა და ClaudeBot-ის, დაბლოკვა და AI საძიებო კრაულერების, მაგალითად OAI-SearchBot-ისა და PerplexityBot-ის, დაშვება, რომ თქვენი გვერდები AI პასუხებში კვლავ ჩანდეს და ციტირდებოდეს.

საწყისი ვარიანტი
AI სწავლება
AI ძიება
მომხმარებლის მოთხოვნით მიღება
Content-Signal (არასავალდებულო): მონიშნეთ, რას უშვებთ

მომხმარებლის მოთხოვნით მომუშავე აგენტების დაბლოკვას შეზღუდული ეფექტი აქვს: ზოგი მწარმოებელი აცხადებს, რომ ეს აგენტები შეიძლება robots.txt-ს არ მიჰყვნენ, რადგან გვერდი ადამიანმა მოითხოვა. გამოქვეყნებამდე შეამოწმეთ შედეგი robots.txt-ის შემმოწმებლით. robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის →

როგორ გამოვიყენოთ

განათავსეთ ფაილი თქვენი დომენის ძირში (https://example.com/robots.txt). თუ სხვა კრაულერებისთვის უკვე გაქვთ წესები, დატოვეთ ისინი და დაამატეთ მხოლოდ AI ჯგუფები. ცვლილებები ძალაში შედის, როცა თითოეული კრაულერი ფაილს შემდეგ ჯერზე წაიკითხავს, ჩვეულებრივ ერთი დღის განმავლობაში.

სრული შემოწმების გაშვება →

სახელმძღვანელო

როგორ გამოვიყენოთ robots.txt-ის გენერატორი

ეს ტექსტი ინგლისურიდან მანქანური თარგმანით არის თარგმნილი.

რას წერს გენერატორი

მონიშნეთ კრაულერები, რომლებსაც თქვენი საიტის წაკითხვა შეუძლიათ, და მოხსენით მონიშვნა მათ, რომელთა დაბლოკვაც გსურთ. გენერატორი წერს robots.txt-ს, რომელშიც თითო დაბლოკილ კრაულერს თითო ჯგუფი აქვს, User-agent: <token> და შემდეგ Disallow: /, ბოლოს კი დამხურავ User-agent: * ჯგუფს, რომელიც დანარჩენ ყველაფერს უშვებს. დაამატეთ sitemap-ის მისამართი და ის Sitemap სტრიქონს დაამატებს. მონიშნეთ Content-Signal-ის პარამეტრები და ის დაამატებს Content-Signal სტრიქონს, რომელიც აცხადებს, როგორ შეიძლება თქვენი კონტენტის გამოყენება.

თქვენი ბრაუზერიდან არაფერი გადის: ფაილი გვერდზე იქმნება დაწკაპუნებისას და მას გამოტანის ველიდან აკოპირებთ.

რომელი წინასწარი პარამეტრით დავიწყოთ

მაგალითი: სწავლების დაბლოკვა, AI ძიების დაშვება

ყოველ დაბლოკილ კრაულერს საკუთარი ჯგუფი აქვს, ამიტომ მისი Disallow: / მხოლოდ მასზე ვრცელდება. ყველა სხვა კრაულერი, მათ შორის OAI-SearchBot და Googlebot, User-agent: *-ზე გადადის და ყველაფრის წაკითხვა შეუძლია. Content-Signal სტრიქონი იმავე განზრახვას იმეორებს კრაულერებისთვის, რომლებიც მას კითხულობენ: ძიება და რეალურ დროში პასუხები — დიახ, სწავლება — არა.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

გამოქვეყნებამდე

გავრცელებული შეცდომები

ხშირად დასმული კითხვები

ამოიღებს თუ არა GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-იდან?

არა. GPTBot სასწავლო მონაცემებს აგროვებს. ChatGPT-ის ძიება OAI-SearchBot-ს იყენებს, ხოლო ChatGPT-User ხსნის გვერდებს, რომლებსაც ადამიანები ითხოვენ. თუ ციტირება გსურთ, ისინი დაშვებული დატოვეთ.

რა არის Content-Signal?

სტრიქონი robots.txt-ში, რომელიც აცხადებს, როგორ შეიძლება თქვენი კონტენტის გამოყენება: search, ai-input (პასუხები რეალურ დროში) და ai-train (სწავლება), თითოეული დიახ ან არა. მხარდაჭერა მომწოდებლის მიხედვით განსხვავდება; წესად, რომელსაც კრაულერები მიჰყვებიან, კონკრეტული კრაულერის ჯგუფები რჩება.

მოქმედებს თუ არა Google-Extended Google Search-ზე?

არა. ეს მხოლოდ robots.txt-ში მოქმედი ტოკენია, რომელიც აკონტროლებს, შეუძლია თუ არა Google-ს თქვენი გვერდების გამოყენება თავისი AI მოდელებისთვის; ის არ ცვლის კრაულინგს ან რეიტინგს Google Search-ში.

იგზავნება სადმე ჩემი არჩევანი?

არა. გენერატორი თქვენს ბრაუზერში მუშაობს და ჩვენს სერვერზე არაფერი იგზავნება, სანამ ფაილის გამოცდას თავად არ გადაწყვეტთ.

დაკავშირებული ხელსაწყოები და სახელმძღვანელოები