12 AEO შემოწმება, რომელიც გვერდის გამოქვეყნებამდე უნდა გაუშვათ (2027)
გამოქვეყნებამდე დარწმუნდით, რომ URL გადამისამართების გარეშე 200-ს აბრუნებს, robots.txt ყველა AI საძიებო კრაულერს უშვებს, ფაირვოლი მათ ნამდვილ გვერდს აწვდის და პასუხი დაუმუშავებელ HTML-შია. შემდეგ შეამოწმეთ დავიწყებული noindex ან nosnippet, ერთი canonical, პასუხი H1-ის ქვეშ, ვალიდური და შესაბამისი JSON-LD, ერთნაირი თარიღები, sitemap-ის ჩანაწერი შიდა ბმულებით, hreflang, და მოითხოვეთ ინდექსაცია.
გვერდების უმეტესობა, რომელიც AI პასუხებში არასოდეს ჩნდება, რაღაც მოსაწყენზე ვარდება: დავიწყებული noindex, ფაირვოლის წესი, canonical, რომელიც staging-ზე მიუთითებს. ეს თორმეტი შემოწმება ამას გაშვებამდე იჭერს. თითოეულს რამდენიმე წუთი სჭირდება, უმეტესობას ტერმინალისა და გვერდის URL-ის მეტი არაფერი სჭირდება, და ისინი იმ თანმიმდევრობითაა, რომლითაც კრაულერი მათ ხვდება.
ამ გვერდზე
- რამდენ ხანს სჭირდება თითოეულ შემოწმებას?
- 1. URL 200-ს აბრუნებს გადამისამართებების ჯაჭვის გარეშე
- 2. robots.txt გვერდს ყველა AI საძიებო კრაულერისთვის უშვებს
- 3. ფაირვოლი AI კრაულერებს ნამდვილ გვერდს აწვდის
- 4. პასუხი დაუმუშავებელ HTML-შია
- 5. noindex ან nosnippet არ დარჩენილა
- 6. ერთი canonical URL, აბსოლუტური და საკუთარ თავზე მიმთითებელი
- 7. სათაური და H1 ამბობს, რას პასუხობს გვერდი, და პასუხი მათ ქვემოთაა
- 8. JSON-LD იკითხება შეცდომების გარეშე და ხილულ ტექსტს ემთხვევა
- 9. ხილული თარიღი, მარკაპის თარიღები და sitemap-ის lastmod ემთხვევა
- 10. გვერდი sitemap-შია და დაკავშირებული გვერდებიდან აქვს ბმულები
- 11. hreflang ორმხრივია, x-default-ით
- 12. სთხოვეთ საძიებო სისტემებს ახალი გვერდის შეგროვება
- როგორ ავირჩიეთ ეს შემოწმებები
რამდენ ხანს სჭირდება თითოეულ შემოწმებას?
მიახლოებითი შეფასება ერთი გვერდისთვის, საჭირო ხელსაწყოთი. 1-დან 5-მდე შემოწმებები ყველა გვერდზე გაუშვით; დანარჩენი ერთხელ თითო შაბლონზე, შემდეგ კი შერჩევით.
- 1. სტატუსი 200: 1 წუთი, curl.
- 2. robots.txt თითო კრაულერზე: 3 წუთი, ბრაუზერი ან curl.
- 3. ფაირვოლის პასუხი: 3 წუთი, curl.
- 4. ტექსტი დაუმუშავებელ HTML-ში: 2 წუთი, curl.
- 5. დავიწყებული noindex ან nosnippet არ არის: 2 წუთი, curl.
- 6. ერთი canonical: 2 წუთი, view-source.
- 7. სათაური, H1 და მოკლე პასუხი: 5 წუთი, გვერდის წაკითხვა.
- 8. JSON-LD ვალიდური და შესაბამისი: 5 წუთი, Rich Results Test ან Schema Markup Validator.
- 9. თარიღები ემთხვევა: 3 წუთი, გვერდი, მარკაპი და sitemap.
- 10. sitemap და შიდა ბმულები: 5 წუთი, sitemap.xml და თქვენი CMS.
- 11. hreflang: 5 წუთი, მხოლოდ მრავალენოვანი საიტებისთვის.
- 12. ინდექსაციის მოთხოვნა: 2 წუთი, Search Console და IndexNow.
1. URL 200-ს აბრუნებს გადამისამართებების ჯაჭვის გარეშე
კრაულერმა თავად გვერდი 200 სტატუსით ზუსტად იმ URL-ზე უნდა მიიღოს, რომელსაც გააზიარებთ და sitemap-ში ჩაწერთ. ყოველი გადამისამართება კიდევ ერთი ნაბიჯია, რომელიც შეიძლება ჩავარდეს, ხოლო გვერდი, რომელიც 200-ით და „ვერ მოიძებნა“ შეტყობინებით პასუხობს, soft 404-ია, რომელსაც საძიებო სისტემები შეიძლება მოაცილებენ.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ სწორი შედეგი: 200 redirects=0 და იგივე URL. გამოსწორება: ბმული საბოლოო URL-ზე მიეცით და ის ჩაწერეთ, ძველი მისამართებიდან კი მაქსიმუმ ერთი გადამისამართება დატოვეთ.
2. robots.txt გვერდს ყველა AI საძიებო კრაულერისთვის უშვებს
წაიკითხეთ robots.txt ისე, როგორც მას თითოეული კრაულერი წაიკითხავს. ჯგუფი, რომელიც კრაულერს სახელით ასახელებს, მისთვის User-agent: * ჯგუფს ცვლის, ხოლო RFC 9309-ის მიხედვით იმარჯვებს ყველაზე გრძელი შესაბამისი წესი, ფრეს შემთხვევაში კი Allow.
შეამოწმეთ მინიმუმ OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot და Googlebot. ახალი განყოფილება, მაგალითად /guides/, შეიძლება ძველ Disallow: /g წესში მოხვდეს, რადგან წესები გზის პრეფიქსებს ემთხვევა. ასევე დარწმუნდით, რომ თავად robots.txt 200-ს ან 404-ს აბრუნებს: RFC 9309-ის მიხედვით სერვერის შეცდომა ნიშნავს, რომ კრაულერებმა მთელი საიტი აკრძალულად უნდა ჩათვალონ.
სწორი შედეგი: ამ ტოკენებიდან არც ერთის წესი ამ გზას არ კრძალავს. ჩვენი სახელმძღვანელო robots.txt-ის ტესტირებაზე აჩვენებს, როგორ შეამოწმოთ ერთი URL ერთი კრაულერისთვის.
3. ფაირვოლი AI კრაულერებს ნამდვილ გვერდს აწვდის
მოითხოვეთ გვერდი ბრაუზერის user agent-ით და კრაულერების user agent-ებით, შემდეგ შეადარეთ სტატუსი და ზომა. ბოტებისგან დაცვამ, რომელიც სახელს ამოწმებს, მხოლოდ კრაულერებს შეიძლება დაუბრუნოს 403, 429 ან ჩელენჯის გვერდი.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done სწორი შედეგი: ყველა სტრიქონში 200 და მსგავსი ზომა. გაცილებით მცირე ზომა ჩვეულებრივ ჩელენჯის გვერდს ნიშნავს. ეს სტრიქონები ამოწმებს წესებს, რომლებიც სახელს ემთხვევა; ნამდვილი კრაულერები გამოქვეყნებული IP დიაპაზონებიდანაც მოდიან, რასაც თქვენი კომპიუტერიდან ტესტი ვერ გაიმეორებს, ამიტომ ფაირვოლის დამშვები წესებიც შეამოწმეთ ამ დიაპაზონებისთვის.
4. პასუხი დაუმუშავებელ HTML-შია
მოძებნეთ სერვერის გამოგზავნილ HTML-ში წინადადება თქვენი პასუხიდან. ბრაუზერის ელემენტების ინსპექტორი გვერდს სკრიპტების შესრულების შემდეგ აჩვენებს, და ეს არ არის ის, რასაც კრაულერების უმეტესობა იღებს.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" სწორი შედეგი: 1 ან მეტი. 0 ნიშნავს, რომ ტექსტი JavaScript-ით ემატება, OpenAI, Anthropic და Perplexity კი არ აღწერენ, რომ მათი კრაულერები მას უშვებენ. დაარენდერეთ ის სერვერზე ან აწყობისას; ჩვენს სახელმძღვანელოში JavaScript კონტენტსა და AI კრაულერებზე ვარიანტებია ჩამოთვლილი.
5. noindex ან nosnippet არ დარჩენილა
staging საიტები ხშირად noindex-ით ეშვება, და შაბლონმა ის შეიძლება production-ში გადაიტანოს. შეამოწმეთ robots მეტა-ტეგიც და X-Robots-Tag HTTP სათაურიც, რადგან ნებისმიერი მათგანი მოქმედებს.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html სწორი შედეგი: არაფერი იბეჭდება, ან მხოლოდ index, follow და მსგავსი. Google-ის თქმით, AI Overviews-სა და AI Mode-ში გამოსაჩენად გვერდი ინდექსირებული და ფრაგმენტის უფლების მქონე უნდა იყოს, ხოლო nosnippet მისი მათთვის პირდაპირ შემავალ მონაცემად გამოყენებასაც ბლოკავს.
6. ერთი canonical URL, აბსოლუტური და საკუთარ თავზე მიმთითებელი
გვერდმა ზუსტად ერთი rel="canonical" უნდა გამოაცხადოს, აბსოლუტური URL-ით, რომელიც თქვენ მიერ გამოქვეყნებულ URL-ზე მიუთითებს. Google canonical-ს ძლიერ სიგნალს უწოდებს და არა ბრძანებას, და გაფრთხილებთ ფარდობითი URL-ებისა და ურთიერთსაწინააღმდეგო სიგნალების შესახებ, მაგალითად, sitemap-ის, რომელიც სხვა მისამართს ასახელებს.
გაშვებისას გავრცელებული შეცდომებია შაბლონის გვერდიდან დაკოპირებული canonical, canonical, რომელიც ისევ staging ჰოსტზე მიუთითებს, და ორი canonical ტეგი ერთდროულად თემიდან და პლაგინიდან.
სწორი შედეგი: ერთი ტეგი, ცოცხალი URL, იგივე პროტოკოლი და ჰოსტი, რაც sitemap-ში.
7. სათაური და H1 ამბობს, რას პასუხობს გვერდი, და პასუხი მათ ქვემოთაა
წაიკითხეთ გვერდის ზედა ნაწილი ისე, როგორც უცნობი წაიკითხავდა. სათაურმა და H1-მა კითხვა ან თემა მყიდველების სიტყვებით უნდა დაასახელოს, ხოლო H1-ის ქვემოთ პირველმა ორ-სამმა წინადადებამ მას სრულად უნდა უპასუხოს.
სათაური დაახლოებით 60 სიმბოლოს ფარგლებში დატოვეთ, რომ ძიების შედეგებში მისი მოჭრის ალბათობა ნაკლები იყოს. მოკლე პასუხი ისე დაწერეთ, რომ ცალკე ციტირებისასაც გასაგები იყოს, რიცხვებით, ერთეულებითა და პროდუქტის სახელით სრულად.
სწორი შედეგი: ვინც მხოლოდ პირველ აბზაცს კითხულობს, პასუხი უკვე აქვს. ჩვენი სია იმის შესახებ, როგორ მოგიყვანონ AI პასუხებში, ციტირებისთვის წერას უფრო ღრმად განიხილავს.
8. JSON-LD იკითხება შეცდომების გარეშე და ხილულ ტექსტს ემთხვევა
დაზიანებული JSON-LD მთლიანად იგნორირდება, ამიტომ ერთი გამოტოვებული მძიმე მთელ მარკაპს შლის. ჩასვით URL Google-ის Rich Results Test-ში ან Schema Markup Validator-ში და გაასწორეთ ყველა შეცდომა.
შემდეგ მნიშვნელობები გვერდს შეადარეთ. მარკაპში სათაური, თარიღები, ფასი, ვალუტა და ორგანიზაციის სახელი ისეთივე უნდა იყოს, როგორსაც მკითხველი ხედავს. Google-ის თქმით, მისი AI ფუნქციებისთვის განსაკუთრებული მარკაპი საჭირო არ არის და სტრუქტურირებული მონაცემები ხილულ ტექსტს უნდა ემთხვეოდეს.
სწორი შედეგი: შეცდომები არ არის და ყველა მნიშვნელობა გვერდზე ჩანს. გამოტოვეთ, თუ: გვერდის ტიპს შესაფერისი მარკაპი არ აქვს; უბრალო გვერდი არასწორ მარკაპზე უკეთესია.
9. ხილული თარიღი, მარკაპის თარიღები და sitemap-ის lastmod ემთხვევა
აჩვენეთ გვერდზე თარიღი წარწერით, იგივე თარიღები გამოიყენეთ datePublished-სა და dateModified-ში, ხოლო sitemap-ის lastmod ბოლო არსებით ცვლილებაზე დააყენეთ. Google ითხოვს, რომ ხილული და მარკაპის თარიღები ემთხვეოდეს, და ამბობს, რომ lastmod-ს მხოლოდ მაშინ იყენებს, თუ ის მუდმივად და გადამოწმებადად ზუსტია.
sitemap-ის გენერატორი, რომელიც ყოველ აწყობაზე ყველა URL-ს დღევანდელ თარიღს უსვამს, lastmod-ს უსარგებლოს ხდის ყველა გვერდისთვის და არა მხოლოდ ახლისთვის.
სწორი შედეგი: სამი ადგილი, ერთი თარიღი.
10. გვერდი sitemap-შია და დაკავშირებული გვერდებიდან აქვს ბმულები
კრაულერები გვერდებს ბმულებითა და sitemap-ებით პოულობენ. დაამატეთ ახალი URL თქვენს XML sitemap-ში ზუსტი canonical URL-ით და მიეცით მას ბმული მინიმუმ ორი დაკავშირებული გვერდიდან და ერთი ჰაბის ან ინდექსის გვერდიდან.
ერთ sitemap ფაილში შეიძლება იყოს 50 000-მდე URL და 50 MB შეკუმშვის გარეშე; უფრო დიდ საიტებს sitemap index სჭირდებათ. Google-ის თქმით, ის priority-სა და changefreq-ს იგნორირებს, ამიტომ მათზე დრო ნუ დახარჯეთ. გვერდი შიდა ბმულების გარეშე ობოლი გვერდია, რომელსაც კრაულერები შეიძლება გვიან იპოვიან ან საერთოდ ვერ იპოვიან.
სწორი შედეგი: URL sitemap-შია და მინიმუმ ორი გვერდი მას აღწერითი ანკორის ტექსტით უკავშირდება.
11. hreflang ორმხრივია, x-default-ით
თუ გვერდი რამდენიმე ენაზე არსებობს, თითოეულმა ვერსიამ ყველა ვერსია უნდა ჩამოთვალოს, მათ შორის საკუთარი თავიც, და თითოეულმა უკან უნდა მიუთითოს. Google იგნორირებს hreflang ანოტაციებს, რომლებიც მეორე მხრიდან არ არის დადასტურებული. დაამატეთ x-default იმ ვერსიისთვის, რომელიც ჩანს, როცა არც ერთი ენა არ ემთხვევა.
გამოტოვეთ, თუ: საიტი ერთენოვანია. ჩვენი სახელმძღვანელო hreflang x-default-ზე ხსნის, როდის გჭირდებათ ის.
12. სთხოვეთ საძიებო სისტემებს ახალი გვერდის შეგროვება
როცა გვერდი ცოცხალია და ზემოთ მოცემულ შემოწმებებს გადის, შეატყობინეთ ამის შესახებ საძიებო სისტემებს. Google Search Console-ში გამოიყენეთ URL Inspection ახალ URL-ზე და აირჩიეთ Request indexing. Bing-ისა და სხვა სისტემებისთვის, რომლებიც IndexNow-ს უჭერენ მხარს, გაგზავნეთ URL IndexNow-ის endpoint-ზე თქვენი გასაღებით; Bing აღნიშნავს, რომ ეს შეგროვებას ან ინდექსაციას გარანტიას არ აძლევს.
AI ასისტენტებს გაგზავნის ფორმა არ აქვთ. მათი კრაულერები გვერდს ბმულებითა და ძიებით პოულობენ, და სწორედ ამიტომაა მნიშვნელოვანი შემოწმებები 2, 3 და 10. თუ llms.txt ფაილს აქვეყნებთ, გვერდი იქაც დაამატეთ; Google-ის თქმით, მისი ძიება მას არ იყენებს, ამიტომ არასავალდებულოდ ჩათვალეთ.
სწორი შედეგი: URL Inspection აჩვენებს, რომ ცოცხალი გვერდის ინდექსაცია შესაძლებელია.
როგორ ავირჩიეთ ეს შემოწმებები
სია მიჰყვება გზას, რომელსაც კრაულერი გადის: URL-მდე მისვლა, robots.txt-ის წაკითხვა, ფაირვოლის გავლა, HTML-ის წაკითხვა და შემდეგ მისი ინტერპრეტაცია. თითოეული შემოწმება ეფუძნება იმას, რასაც OpenAI, Anthropic, Perplexity და Google თავიანთ კრაულერებზე აღწერენ, RFC 9309-ს robots.txt-ისთვის და Google-ის რეკომენდაციებს canonical-ის, თარიღების, sitemap-ისა და hreflang-ისთვის. გარეთ დავტოვეთ შემოწმებები, რომლებსაც AI პასუხებზე დოკუმენტირებული გავლენა არ აქვს, მაგალითად, საკვანძო სიტყვების სიმჭიდროვე ან სიტყვების რაოდენობის მიზნები.
შემოწმებები აჩვენებს, რომ გვერდი წაკითხვადია; ვერ აჩვენებს, რომ მას მოიყვანენ. ეს დამოკიდებულია იმაზე, რამდენად კარგია პასუხი სხვა წყაროებთან შედარებით. გაიმეორეთ შემოწმებები 2-დან 5-მდე ფაირვოლის, CDN-ის, თემის ან CMS-ის ყოველი ცვლილების შემდეგ, რადგან სწორედ ეს ცვლილებები აუქმებს მათ ჩუმად.
AISeeWhy ამ შემოწმებების უმეტესობას ერთი გავლით ასრულებს: ის გვერდს 16 AI და საძიებო კრაულერის სახით იღებს ნამდვილი ბრაუზერის გვერდით, robots.txt-ს თითოეული კრაულერისთვის იყენებს და კითხულობს HTML-ს, მარკაპს, canonical-ს და თარიღებს. უფასო შემოწმება ქულასა და პირველ მიგნებას აჩვენებს; სრული რეპორტი თითოეულ პრობლემას მზა გამოსწორებით ჩამოთვლის.
ამ პრობლემის გამოსწორებები
- OAI-SearchBot დაბლოკილია
- გვერდის კონტენტს JavaScript სჭირდება
- სიები, დაწერილი უბრალო ტექსტად
- განყოფილებები მოკლე პასუხით არ იწყება: 2 3-დან
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- llms.txt-ის შემმოწმებელი და ვალიდატორი
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
ეს შემოწმებები ყველა გვერდზე უნდა გავუშვა?
1-დან 5-მდე შემოწმებები ყველა ახალ გვერდზე გაუშვით, რადგან ცალკეული URL შეიძლება დაიბლოკოს ან დავიწყებული noindex ჰქონდეს. 6-დან 11-მდე შემოწმებები ძირითადად შაბლონზეა დამოკიდებული, ამიტომ ისინი ერთხელ გაუშვით თითო ტიპის გვერდზე, ახალი გვერდები კი შერჩევით შეამოწმეთ.
რატომ ვერ ვუგზავნი გვერდს ChatGPT-ს ან Claude-ს ისე, როგორც Google-ს?
OpenAI, Anthropic და Perplexity ვებგვერდების URL-ების გასაგზავნ ხელსაწყოს არ გვთავაზობენ. მათი კრაულერები გვერდებს ბმულებზე გადასვლით და ძიებით პოულობენ, ამიტომ თქვენს კონტროლშია შიდა ბმულები, sitemap და ღია წვდომა OAI-SearchBot-ის, Claude-SearchBot-ისა და PerplexityBot-ისთვის.
ჩემი გვერდი თორმეტივე შემოწმებას გადის. რატომ არ მიყვანენ მაინც?
შემოწმებები გვერდს წაკითხვადს ხდის და არა სასურველს. ასისტენტი ირჩევს წყაროებს, რომლებიც კითხვას საუკეთესოდ პასუხობს, ამიტომ შეადარეთ თქვენი გვერდი იმ გვერდებს, რომლებსაც ის ციტირებს: პასუხობენ თუ არა უფრო ადრე, წერენ თუ არა ფასებსა და მახასიათებლებს ტექსტად, ან სთავაზობენ თუ არა მონაცემებს, რაც თქვენ არ გაქვთ.
გამოქვეყნებიდან რამდენ ხანში მოდიან AI კრაულერები?
არც ერთი კომპანია გრაფიკს არ აქვეყნებს. თქვენი სერვერის ლოგები აჩვენებს, როდის მოითხოვეს URL პირველად OAI-SearchBot-მა, Claude-SearchBot-მა ან PerplexityBot-მა; ჩვენი სახელმძღვანელო სერვერის ლოგებში AI კრაულერების შემოწმებაზე აჩვენებს, როგორ იპოვოთ ისინი.
წყაროები
- RFC 9309: Robots Exclusion Protocol (რობოტების გამორიცხვის პროტოკოლი)
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა
- Anthropic: აგროვებს თუ არა Anthropic მონაცემებს ვებიდან და როგორ შეუძლიათ საიტის მფლობელებს კრაულერის დაბლოკვა?
- Perplexity: Perplexity-ის კრაულერები
- Google Search Central: AI ფუნქციები და თქვენი ვებსაიტი
- Google Search Central: robots მეტა-ტეგი, data-nosnippet და X-Robots-Tag
- Google Search Central: როგორ მივუთითოთ canonical URL
- Google Search Central: გამოქვეყნების თარიღებზე გავლენა
- Google Search Central: sitemap-ის შექმნა და გაგზავნა
- Sitemaps.org: Sitemaps XML ფორმატი
- Google Search Central: შეატყობინეთ Google-ს თქვენი გვერდის ლოკალიზებული ვერსიების შესახებ
- Google Search Console-ის დახმარება: URL Inspection ხელსაწყო
- Bing: IndexNow, დაწყება
- Google Search Console-ის დახმარება: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO-ს საფუძვლები