ხედავს თუ არა ChatGPT ჩემს საიტს? როგორ შევამოწმოთ

ჩასვით თქვენი გვერდი და დაახლოებით 30 წამში ნახეთ, შეუძლია თუ არა ChatGPT-ის კრაულერებს მასზე წვდომა, მისი წაკითხვა და ციტირება, და რა შეცვალოთ, თუ არ შეუძლიათ.

უფასოდ · რეგისტრაციის გარეშე · შედეგი 30 წამში

robots.txt, კრაულერების მიხედვით

OAI-SearchBot, ChatGPT-User და GPTBot ცალ-ცალკე იკითხება RFC 9309-ის წესებით, ამიტომ ხედავთ, რომელია ნებადართული და რომელი სტრიქონი წყვეტს.

ფაირვოლისა და CDN-ის ბლოკები

თქვენი გვერდი მოთხოვნილია როგორც 14 კრაულერით, ისე ჩვეულებრივი ბრაუზერით. 403, 429 ან ბოტის შემოწმების გვერდი, რომელსაც მხოლოდ კრაულერები იღებენ, აღინიშნება და მის უკან მდგომი ფაირვოლი დასახელებულია.

რას იღებს კრაულერი სინამდვილეში

თითოეული კრაულერისთვის სტატუსი, ზომა და გადამისამართებები შედარებულია იმასთან, რასაც ბრაუზერი იღებს, ამიტომ გვერდი, რომელიც კრაულერებს ადამიანებზე ნაკლებს აძლევს, თვალში გვხვდება.

გამოსწორება ყოველი პრობლემისთვის

ყოველ პრობლემას თან ახლავს შესატანი ცვლილება. უფასო შემოწმება აჩვენებს თქვენს ქულას და პირველ პრობლემას; სრული ანგარიში $29-ია, ერთჯერადად.

მოკლე პასუხი

ChatGPT-ს თქვენი გვერდის ციტირება მხოლოდ მაშინ შეუძლია, თუ OpenAI-ის საძიებო კრაულერს, OAI-SearchBot-ს, მისი მიღება ეშვება და ის იმავე HTML-ს იღებს, რასაც ბრაუზერი. შეამოწმეთ სამი რამ: თქვენი robots.txt არ კრძალავს OAI-SearchBot-ს, თქვენი ფაირვოლი ან CDN მას 403-ით ან ბოტის შემოწმების გვერდით არ პასუხობს, ხოლო მთავარი ტექსტი საწყის HTML-შია. წაკითხვადობა იგივე არ არის, რაც რეკომენდაცია: იმის სანახავად, ასახელებს თუ არა ChatGPT თქვენს საიტს, დაუსვით მას ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, და ჩაიწერეთ, რომელ საიტებს ციტირებს.

შეამოწმეთ თავად 3 ნაბიჯში

  1. წაიკითხეთ თქვენი robots.txt

    გახსენით https://your-site.com/robots.txt. არც OAI-SearchBot-ის, არც ChatGPT-User-ის და არც User-agent: *-ის ჯგუფს არ უნდა ეკრძალებოდეს გვერდი. GPTBot მხოლოდ ტრენინგისთვის არის მნიშვნელოვანი.

  2. გამოსცადეთ, რას იღებს კრაულერი

    მოითხოვეთ გვერდი OAI-SearchBot-ით ან გაუშვით უფასო შემოწმება. უნდა უპასუხოს 200-ით და იმავე ტექსტით, რასაც ბრაუზერი იღებს, და არა 403-ით ან ბოტის შემოწმების გვერდით.

  3. ჰკითხეთ ChatGPT-ს

    ძიების ჩართვით სთხოვეთ, შეაჯამოს თქვენი URL და უპასუხოს ერთ კითხვას, რომელსაც თქვენი მყიდველები სვამენ, შემდეგ კი ნახეთ მის მიერ მითითებული წყაროები. თუ წვდომა წესრიგშია და მაინც არ ჩანხართ, მიზეზი შინაარსია.

ხშირად დასმული კითხვები

შემიძლია უფასოდ შევამოწმო, ხედავს თუ არა ChatGPT ჩემს საიტს?

დიახ. თქვენი robots.txt-ის წაკითხვა, curl მოთხოვნა OAI-SearchBot user agent-ით და კითხვა ChatGPT-ში არაფერი ღირს. AISeeWhy-ის უფასო შემოწმება კრაულერების ტესტებს ერთი გვერდისთვის დღეში ერთხელ უშვებს, ანგარიშის გარეშე.

როგორ შევამოწმო, გირჩევთ თუ არა ChatGPT ჩემს საიტს?

დაუსვით ChatGPT-ს, ჩართული ძიებით, ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, და ჩაიწერეთ, ასახელებს თუ არა ის თქვენს საიტს ან უთითებს თუ არა მასზე ბმულს, და რომელ კონკურენტებს ასახელებს ნაცვლად. პასუხები გაშვებიდან გაშვებამდე იცვლება, ამიტომ თითოეული კითხვა გაიმეორეთ და რამდენიმე კვირის განმავლობაში ხელახლა შეამოწმეთ. AISeeWhy-ის „ხილვადობა AI-ში“ თქვენს კითხვებს ChatGPT-ში, Claude-ში, Perplexity-სა და Gemini-ში თქვენი საკუთარი API გასაღებებით უშვებს და ხსენებებს ოთხამდე კონკურენტის გვერდით ადევნებს თვალს. API-ით მიღებული პასუხები შეიძლება განსხვავდებოდეს იმისგან, რასაც ChatGPT-ის აპი აჩვენებს.

რატომ ვერ პოულობს ChatGPT ჩემს საიტს?

ყველაზე ხშირად OAI-SearchBot აკრძალულია robots.txt-ში, ფაირვოლი მას 403-ით ან ჩელენჯის გვერდით პასუხობს, ან ტექსტი მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება. თუ სამივე რიგზეა, შეიძლება თქვენი გვერდი კითხვას უბრალოდ ნაკლებად პირდაპირ პასუხობდეს, ვიდრე გვერდები, რომლებსაც ChatGPT ციტირებს.

ამოიღებს თუ არა GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-ის ძიებიდან?

არა. OpenAI კრაულერების თითოეულ პარამეტრს დამოუკიდებლად განიხილავს. GPTBot სწავლებას ეხება, OAI-SearchBot კი წყვეტს, შეიძლება თუ არა გვერდების ჩვენება ChatGPT-ის საძიებო პასუხებში. შეგიძლიათ ერთი აკრძალოთ და მეორე დაუშვათ.

იცავს თუ არა ChatGPT-User robots.txt-ს?

OpenAI-ის თქმით, რადგან ამ ვიზიტებს მომხმარებელი იწყებს, robots.txt-ის წესები შეიძლება არ ვრცელდებოდეს. თუ ამ ვიზიტების შეჩერება გსურთ, robots.txt-ის წესი საიმედო საშუალება არ არის.

რამდენ ხანში აღწევს robots.txt-ის ცვლილება ChatGPT-მდე?

OpenAI-ის თქმით, robots.txt-ის განახლებიდან მის სისტემებს ძიებისთვის მორგებას დაახლოებით 24 საათი შეიძლება დასჭირდეს.

საკმარისია თუ არა ხელმისაწვდომობა ციტირებისთვის?

არა. წვდომა ციტირებას შესაძლებელს ხდის, მაგრამ გარანტიას არ იძლევა. ის, რასაც გვერდი ამბობს და რამდენად მკაფიოდ ამბობს, მაინც წყვეტს, გამოიყენებენ თუ არა მას პასუხში.

წაიკითხეთ სრული გზამკვლევი

ბევრი საიტის მფლობელი ChatGPT-ს საკუთარ პროდუქტზე ეკითხება, ნაცვლად ამისა კონკურენტის ციტირებას ხედავს და ფიქრობს, აღწევს თუ არა ChatGPT მის საიტამდე საერთოდ. ამ კითხვას კონკრეტული, შემოწმებადი პასუხი აქვს. OpenAI აქვეყნებს თავისი კრაულერების სახელებს და იმას, რას აკეთებს თითოეული, ამიტომ ჯაჭვის ყოველი რგოლის შემოწმება შეგიძლიათ: robots.txt-ის წესები, პასუხი, რომელსაც თქვენი სერვერი აგზავნის, და ამ პასუხის კონტენტი.

5-წუთიანი შემოწმება, ნაბიჯ-ნაბიჯ

  1. გახსენით https://your-site.com/robots.txt და დარწმუნდით, რომ არცერთი ჯგუფი OAI-SearchBot-ისთვის, ChatGPT-User-ისთვის ან User-agent: * გვერდს არ კრძალავს. GPTBot მხოლოდ სწავლებისთვისაა მნიშვნელოვანი.
  2. გაუშვით გვერდის უფასო შემოწმება AISeeWhy-ზე ან გააგზავნეთ ერთი მოთხოვნა OAI-SearchBot user agent-ით: მან უნდა მიიღოს სტატუსი 200 და იგივე ტექსტი, რასაც ბრაუზერი იღებს, და არა 403 ან ჩელენჯის გვერდი.
  3. ნახეთ გვერდის საწყისი კოდი და დარწმუნდით, რომ მთავარი ტექსტი HTML-შია და არა მოგვიანებით JavaScript-ით დამატებული.
  4. სთხოვეთ ChatGPT-ს ჩართული ძიებით თქვენი URL-ის შეჯამება და ერთ კითხვაზე პასუხი, რომელსაც თქვენი მყიდველები სვამენ. ნახეთ, რა წყაროებს ასახელებს.

თუ 1-ლი ან მე-2 ნაბიჯი ვერ სრულდება, ჯერ ეს გამოასწორეთ: ქვემოთ მოცემული სექციები გაჩვენებთ, როგორ. თუ ოთხივე ნაბიჯი სრულდება და ChatGPT მაინც არ გაციტირებთ, მიზეზი კონტენტია და არა წვდომა.

OpenAI-ის რომელი კრაულერებია მნიშვნელოვანი ChatGPT-ის პასუხებისთვის?

OpenAI აღწერს სამ აგენტს, რომლებსაც საიტის მფლობელები ჩვეულებრივ ხვდებიან. მათ განსხვავებული ამოცანები აქვთ და ერთის დაბლოკვა დანარჩენებს არ ბლოკავს. OpenAI აცხადებს, რომ robots.txt-ის ყოველი პარამეტრი დამოუკიდებელია.

  • OAI-SearchBot პოულობს და ინდექსირებს გვერდებს ChatGPT-ის საძიებო ფუნქციებისთვის. OpenAI-ის თქმით, საიტები, რომლებმაც მასზე უარი თქვეს, ChatGPT-ის საძიებო პასუხებში არ გამოჩნდება. სწორედ ის წყვეტს, შეიძლება თუ არა თქვენი ციტირება.
  • GPTBot აგროვებს კონტენტს, რომელიც შეიძლება OpenAI-ის საბაზისო მოდელების სწავლებისთვის გამოიყენონ. მისი აკრძალვა ნიშნავს, რომ თქვენი კონტენტი სწავლებისთვის არ უნდა გამოიყენონ. ის საძიებო პასუხებიდან არ გაგრიცხავთ.
  • ChatGPT-User გვერდს მაშინ სტუმრობს, როცა ადამიანი ChatGPT-ს ამას სთხოვს, მაგალითად, ბმულის ჩასმით. OpenAI-ის თქმით, robots.txt-ის წესები მომხმარებლის მიერ ინიცირებულ ამ ვიზიტებზე შეიძლება არ ვრცელდებოდეს, და ეს აგენტი არ გამოიყენება იმის გადასაწყვეტად, გამოჩნდება თუ არა კონტენტი ძიებაში.

მოკლედ: OAI-SearchBot ციტირებას მართავს, GPTBot სწავლებას, ხოლო ChatGPT-User მომხმარებლის მოთხოვნით პირდაპირ ვიზიტებს ასრულებს.

როგორ შევამოწმო ჩემი robots.txt ChatGPT-ისთვის?

გახსენით https://yourdomain.com/robots.txt ბრაუზერში. მოძებნეთ ჯგუფი, რომელიც OAI-SearchBot-ს ასახელებს. თუ ასეთი არ არის, კრაულერი User-agent: * ჯგუფს მიჰყვება. Disallow: / იმ ჯგუფში, რომელიც მოქმედებს, მთელ საიტს ბლოკავს.

ასევე შეამოწმეთ, რომ ფაილი საერთოდ პასუხობს. RFC 9309-ის მიხედვით, თუ robots.txt სერვერის შეცდომას (5xx) აბრუნებს ან მიუწვდომელია, კრაულერმა უნდა ჩათვალოს, რომ მთელი საიტი აკრძალულია. 404 ნორმალურია: ეს ნიშნავს, რომ წესები არ არის. robots.txt-ის მისამართი, რომელიც HTML გვერდს 200 სტატუსით აბრუნებს, გავრცელებული შეცდომაა, რადგან კრაულერები მასში ვალიდურ წესებს ვერ პოულობენ.

კონფიგურაცია, რომელიც ChatGPT-ის ძიებას ინარჩუნებს და სწავლებაზე უარს ამბობს, ასე გამოიყურება:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI-ის თქმით, robots.txt-ის განახლების შემდეგ ძიებისთვის ცვლილებების ამოქმედებას დაახლოებით 24 საათი შეიძლება დასჭირდეს.

შეუძლია თუ არა ფაირვოლს ChatGPT-ის დაბლოკვა, თუნდაც robots.txt მას უშვებდეს?

დიახ, და ეს ხშირი მიზეზია. robots.txt კეთილსინდისიერი კრაულერებისადმი თხოვნაა და არა წვდომის კონტროლი. რეალურად რა იგზავნება, ამას თქვენი ფაირვოლი, CDN ან ბოტებისგან დაცვა წყვეტს. თუ ის AI კრაულერს არასასურველ ბოტად მიიჩნევს, კრაულერი იღებს 403-ს, 429-ს ან ბოტის შემოწმების გვერდს, მაგალითად Cloudflare-ის ეკრანს "Just a moment...", მაშინ როცა ბრაუზერში ადამიანები გვერდს ჩვეულებრივ ხედავენ.

გარედან ეს ყველასთვის ღია საიტს ჰგავს. სხვაობას მხოლოდ ის მოთხოვნა აჩვენებს, რომელიც თავს კრაულერად წარადგენს. ამ შემთხვევაში robots.txt ამბობს „კი“, სერვერი ამბობს „არა“, და იმარჯვებს სერვერი.

როგორ შევამოწმო, რას იღებს OAI-SearchBot?

გაგზავნეთ ორი მოთხოვნა ერთსა და იმავე URL-ზე, ერთი ბრაუზერის user agent-ით, მეორე კრაულერის user agent-ით, და შეადარეთ სტატუსის კოდი და ზომა. OpenAI თითოეული კრაულერისთვის user agent-ის მაგალითს აქვეყნებს; მასში ვერსიის ნომერი შეიძლება შეიცვალოს.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

თუ ბრაუზერი იღებს 200-ს დიდი შიგთავსით, კრაულერი კი 403-ს, 429-ს, 503-ს ან გაცილებით მცირე შიგთავსს, თქვენი ფაირვოლი კრაულერს სხვაგვარად ეპყრობა. ერთი შეზღუდვა არსებობს: თქვენი ტესტი თქვენი საკუთარი IP მისამართიდან მიდის და არა OpenAI-ისიდან. ფაირვოლებმა, რომლებიც კრაულერებს გამოქვეყნებული IP დიაპაზონებით ამოწმებენ (OpenAI მათ openai.com/searchbot.json-ზე აქვეყნებს), შეიძლება რეალური კრაულერი გაატარონ და თქვენი ტესტი დაბლოკონ. ამ ტესტში ბლოკი მაინც გაჩვენებთ, როგორ ეპყრობა ფაირვოლი user agent-ს, და ამის გამოსწორება ღირს.

რა ვქნა, თუ გვერდი იტვირთება, ChatGPT კი მაინც ვერაფერს სასარგებლოს ამბობს?

წვდომა მხოლოდ პირველი ნაბიჯია. თუ მიღებული HTML ცარიელი გარსია, რომელსაც მოგვიანებით JavaScript ავსებს, კრაულერმა შეიძლება თითქმის არანაირი ტექსტი არ მიიღოს. ნახეთ დაუმუშავებელი HTML curl-ით ან ბრაუზერის view-source-ით: თუ მთავარი ტექსტი იქ არ არის, კრაულერიც, სავარაუდოდ, ვერ ხედავს მას.

ამის შემდეგ მოდის კონტენტის სიგნალები: მკაფიო მოკლე პასუხი გვერდის დასაწყისში, სათაურები, რომლებიც ადამიანების კითხვებს ემთხვევა, დასახელებული გამომცემელი და ავტორი და ხილული თარიღები. ისინი ციტირებას არ იძლევიან გარანტიას, მაგრამ გვერდის სწორად ციტირებას აადვილებენ.

როგორ ამოწმებს ამას AISeeWhy?

AISeeWhy თქვენს გვერდს იღებს როგორც OAI-SearchBot, GPTBot, ChatGPT-User და კიდევ 11 კრაულერი ჩვეულებრივ ბრაუზერთან ერთად, კითხულობს თქვენს robots.txt-ს RFC 9309-ის წესებით და ასახელებს ფაირვოლს, როცა ის ბლოკით ან შემოწმებით პასუხობს. ყოველ მიგნებას ჩასასმელად მზა გამოსწორება ახლავს, უფასო შემოწმება კი აჩვენებს თქვენს ქულასა და პირველ მიგნებას.

ამ პრობლემის გამოსწორებები

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

წყაროები

სხვა სტატიები

გამოქვეყნდა · განახლდა