Jinsi alama inavyofanya kazi

AISeeWhy hukagua kama crawler za AI na utafutaji wa AI zinaweza kusoma na kunukuu ukurasa wa wavuti. Kila kitu kinachoathiri alama kiko kwenye ukurasa huu.

Fomula

Alama = 100 − 15 × (dosari za P1) − 6 × (dosari za P2) − 2 × (dosari za P3), kamwe si chini ya 0. Ukurasa unawekwa alama ya kuonekana kwa AI pale alama ni 70 au zaidi na hakuna dosari ya P1.

Vipaumbele

  • P1, hatari: utafutaji wa AI au wasaidizi wa AI hawawezi kusoma ukurasa, au hawawezi kuamini unachosema.
  • P2, muhimu: ukurasa ni mgumu zaidi kueleweka, kupatikana au kunukuliwa.
  • P3, nzuri kuwa nayo, au chaguo la sera kama kuzuia crawler zinazokusanya data ya mafunzo.

Kinachokaguliwa

  • Ukurasa unapakuliwa kama crawler 16 za AI na za utafutaji, kama curl na kama kivinjari cha kompyuta, kwa user agent iliyochapishwa ya kila crawler. Crawler inayopata hitilafu, changamoto au ukurasa tofauti na wa kivinjari inaripotiwa pamoja na hali ya HTTP na saini ya firewall.
  • robots.txt inachanganuliwa kwa mujibu wa RFC 9309 kwa kila tokeni ya crawler, pamoja na tokeni ambazo hazitumwi kamwe kama user agent (Google-Extended, Applebot-Extended).
  • Data iliyopangwa ya ukurasa (JSON-LD), maudhui yanayoanza na jibu, tarehe, sitemap, matoleo mbadala ya hreflang na llms.txt yanakaguliwa.
  • Crawler inayokutana na hitilafu ya muda (hitilafu ya mtandao, 429, 5xx) inajaribiwa tena mara moja kabla ya kuhesabiwa.

Vikomo vya jaribio la nje

  • Maombi yanatoka seva ya AISeeWhy, si kutoka anwani za IP za wamiliki wa crawler. Firewall inayoamini crawler halisi kwa IP inaweza kutuzuia sisi lakini kuziruhusu wao, na kinyume chake. Ukaguzi wa kumbukumbu za seva unaonyesha jinsi crawler halisi zilivyojibiwa.
  • JavaScript haiendeshwi, kwa sababu crawler nyingi za AI (GPTBot, ClaudeBot, PerplexityBot) haziiendeshi.
  • URL moja ni ukurasa mmoja. Tumia ukaguzi wa wingi au sitemap kwa tovuti nzima.
  • Alama bora inamaanisha vizuizi vichache vya kiufundi. Haihakikishi kuwa msaidizi wa AI atakutaja au kukunukuu.

Sheria

Toleo la sasa la sheria: 2026.11. Toleo hubadilika kila sheria, kipaumbele au fomula inapobadilika, na kila ripoti inaonyesha toleo ililotengenezwa nalo.

DosariKipaumbele
Jaribio letu lilizuiwa, matokeo hayana uhakika access.all_blockedP2
OAI-SearchBot imezuiwa access.blockedP1–P3, kulingana na aina ya crawler
GPTBot inaelekezwa kwingine access.redirect_diffP1–P3, kulingana na aina ya crawler
GPTBot inapata ukurasa bandia access.soft_blockP1–P3, kulingana na aina ya crawler
Faili ya ugunduzi kwa mawakala haisomeki agent.discovery_invalidP2
Toleo la Markdown kwa mawakala limeharibika agent.markdown_brokenP2
Jibu la Markdown bila Vary: Accept agent.markdown_no_varyP3
Hakuna toleo la Markdown kwa mawakala wa AI agent.no_markdownP3
Duka lisilo na wasifu wa UCP agent.no_ucpP3
Barua pepe ya mawasiliano imefichwa na email obfuscation content.email_obfuscatedP1 / P2
Maudhui ya ukurasa yanahitaji JavaScript content.js_onlyP1
Orodha zilizoandikwa kama maandishi ya kawaida content.lists_as_textP3
Aya ndefu: 2 content.long_paragraphsP3
Sehemu hazianzi na jibu fupi: 2 kati ya 3 content.no_answer_passagesP2
Hakuna hatua inayofuata iliyo wazi kwenye ukurasa wa kibiashara content.no_ctaP3
Hakuna viungo vya vyanzo vya nje content.no_outbound_citationsP1
Vichwa vichache vimeandikwa kama maswali content.no_question_headingsP2
Bei iko kwenye alama lakini haipo kwenye maandishi ya ukurasa content.price_not_in_textP2
Hakuna jibu fupi chini ya H1 content.quick_answer_missingP1
Kurasa 2 zilizounganishwa zimevunjika crawl.brokenP1–P3, kulingana na aina ya crawler
Kurasa 2 ziko zaidi ya mibofyo 3 kutoka ukurasa wa kuanzia crawl.deepP1–P3, kulingana na aina ya crawler
Kurasa 2 zina meta description sawa na ukurasa mwingine crawl.duplicate_descriptionsP1–P3, kulingana na aina ya crawler
Kurasa 2 zina title sawa na ukurasa mwingine crawl.duplicate_titlesP1–P3, kulingana na aina ya crawler
Tovuti haina favicon crawl.favicon_missingP3
Matoleo 2 ya tovuti yanaelekezwa upya kwa muda tu crawl.host_redirect_tempP3
Matoleo 2 mengine ya tovuti yanafunguka bila kuelekezwa upya crawl.host_variantP2
Kurasa 2 zinasema karibu kitu kimoja na ukurasa mwingine crawl.near_duplicateP2
Kurasa 2 kwenye sitemap ni noindex crawl.noindex_in_sitemapP1–P3, kulingana na aina ya crawler
Kurasa 2 kwenye sitemap hazina viungo vya ndani crawl.orphansP1–P3, kulingana na aina ya crawler
Viungo vya ndani 2 vinaelekeza kwenye redirect crawl.redirectsP1–P3, kulingana na aina ya crawler
URL 2 za sitemap zinataja ukurasa mwingine kama canonical crawl.sitemap_not_canonicalP1–P3, kulingana na aina ya crawler
URL 2 za sitemap zinaelekeza kwingine au zinashindwa crawl.sitemap_not_okP1–P3, kulingana na aina ya crawler
Ukurasa usiokuwepo unajibu 200 badala ya 404 crawl.soft_404P1–P3, kulingana na aina ya crawler
Ukurasa wa kuanzia haukuweza kupitiwa (403) crawl.start_failedP1
Kurasa 2 zina maneno chini ya 40 crawl.thinP1–P3, kulingana na aina ya crawler
Kurasa 2 zilikataa upitiaji crawl.unreachableP1–P3, kulingana na aina ya crawler
Ukurasa haukuweza kupakuliwa fetch.errorP1
Ukurasa unajibu kwa hali 403 fetch.statusP1
Mwanzo wa llms.txt fix.llmsP1–P3, kulingana na aina ya crawler
Ongeza title fix.seoP1–P3, kulingana na aina ya crawler
Tarehe hazilingani: ukurasa 2026-01-01, sitemap 2026-01-01 fresh.lastmod_mismatchP2
Hakuna tarehe ya kubadilishwa fresh.no_dateP2
Google haijaweka ukurasa huu kwenye index gsc.not_indexedP1–P3, kulingana na aina ya crawler
URL ya canonical haimo kati ya URL za hreflang hreflang.canonical_conflictP2
hreflang haina x-default hreflang.no_x_defaultP3
Viungo vya hreflang havirudiani hreflang.not_reciprocalP2
Viungo vilivyovunjika kwenye llms.txt: 2 llms.broken_linksP3
Hakuna llms.txt llms.missingP2
llms.txt haiorodheshi kurasa zozote llms.no_linksP3
llms.txt haianzi na kichwa llms.no_titleP3
Ukurasa haujaorodheshwa kwenye llms.txt llms.page_not_listedP3
llms.txt ni kubwa mno: 1200 KB llms.too_largeP3
Hakuna orodha ya biashara iliyopatikana kwenye Google Maps offsite.business_not_foundP1–P3, kulingana na aina ya crawler
Tovuti haiunganishi na orodha yake ya biashara offsite.business_unlinkedP1–P3, kulingana na aina ya crawler
Chapa yako haijadiliwi kwenye Reddit wala tovuti za maoni offsite.not_discussedP1–P3, kulingana na aina ya crawler
Mpangilio unaruka wakati wa kupakia: CLS 0.32 kwenye kurasa 2 perf.clsP1–P3, kulingana na aina ya crawler
Ukurasa hujibu polepole kugusa na kubofya: INP 350 ms kwenye kurasa 2 perf.inpP1–P3, kulingana na aina ya crawler
Maudhui makuu yanaonekana polepole: LCP 4200 ms kwenye kurasa 2 perf.lcpP1–P3, kulingana na aina ya crawler
Hati zinazuia ukurasa kwa muda mrefu: TBT 650 ms kwenye kurasa 2 perf.tbtP1–P3, kulingana na aina ya crawler
Seva inajibu polepole: TTFB 1400 ms kwenye kurasa 2 perf.ttfbP1–P3, kulingana na aina ya crawler
robots.txt inaruhusu GPTBot, lakini seva inaizuia robots.access_conflictP1–P3, kulingana na aina ya crawler
robots.txt inazuia OAI-SearchBot robots.disallowedP1–P3, kulingana na aina ya crawler
robots.txt ni ukurasa wa HTML robots.invalidP2
Hakuna Content-Signal kwenye robots.txt robots.no_content_signalP3
robots.txt haiwezi kupakuliwa robots.unreachableP1
Data ya makala haijakamilika schema.article_incompleteP2
Kuna maswali kwenye ukurasa, lakini hakuna markup ya FAQPage schema.faq_missingP2
Misimbo ya bidhaa (GTIN) ambayo haiwezi kuwa sahihi schema.gtin_invalidP2
Kipande cha JSON-LD si JSON halali schema.invalid_jsonP2
Alama za LocalBusiness bila fr schema.local_business_incompleteP3
Ukurasa wa biashara ya mahali bila alama za LocalBusiness schema.local_business_missingP2
Markup ya Product bila marejesho au usafirishaji schema.merchant_info_missingP2
Nambari ya simu kwenye alama ni tofauti na ya ukurasani schema.nap_mismatchP2
Biashara haiunganishi na orodha yake ya ramani schema.no_map_profileP3
Mchapishaji hajatambulishwa schema.no_publisherP1
Mchapishaji hana viungo vya sameAs schema.no_sameasP2
Hakuna data iliyopangwa (JSON-LD) schema.noneP2
Offer za bidhaa bila sarafu au upatikanaji schema.offer_incompleteP2
Markup ya Product ina offers zisizo na bei: 2 schema.offer_no_priceP2
Markup ya bidhaa isiyolingana na data ya duka lenyewe schema.product_data_mismatchP2
Ukadiriaji kwenye alama ambao ukurasa hauuonyeshi schema.rating_not_visibleP2
Markup ya Product inakosa kile Google inachohitaji: fr schema.required_missingP2
Maoni ya wateja kwenye ukurasa bila alama za maoni schema.reviews_no_markupP3
Markup ya programu haina bei schema.software_no_offersP1
Title seoP1–P3, kulingana na aina ya crawler
Viungo vya ndani 2 kati ya 30 vimevunjika seo.broken_linksP2
Kiungo cha canonical kinaelekeza kwenye ukurasa usiofanya kazi seo.canonical_brokenP1
Ukurasa hauna kiungo cha canonical seo.canonical_missingP2
Ukurasa una viungo 2 vya canonical seo.canonical_multipleP2
Kiungo cha canonical kinaelekeza kwenye tovuti nyingine seo.canonical_other_hostP2
Kiungo cha canonical kinaelekeza kwenye redirect seo.canonical_redirectP2
60% ya maandishi ya ukurasa yamewekewa data-nosnippet seo.data_nosnippet_mainP2
Meta description ina herufi 72 seo.description_lengthP3
Ukurasa hauna meta description seo.description_missingP2
Viungo 2 havielezi vinaelekea wapi seo.generic_anchorsP3
Ukurasa hauna kichwa cha H1 seo.h1_missingP1–P3, kulingana na aina ya crawler
Ukurasa una vichwa 2 vya H1 seo.h1_multipleP1–P3, kulingana na aina ya crawler
Vichwa vya habari vinaruka kiwango: H2 kinafuatwa na H4 seo.heading_skipP3
Tovuti haitumi HSTS seo.hsts_missingP3
HTML ni kubwa (1200 KB) seo.html_largeP3
Picha 2 kati ya 3 hazina maandishi ya alt seo.img_alt_missingP3
Picha 2 kati ya 3 hazina width na height seo.img_dimensionsP3
Ukurasa hautaji lugha yake seo.lang_missingP2
Viungo vya ndani 2 kati ya 30 vinapitia redirect seo.links_redirectP3
Vipande vya maandishi vimewekewa kikomo cha herufi 50 seo.max_snippet_lowP2
Rasilimali 2 zinapakiwa kupitia HTTP kwenye ukurasa wa HTTPS seo.mixed_contentP2
Ukurasa unatolewa kupitia HTTP isiyosimbwa seo.no_httpsP1
Ukurasa unaziambia injini za utafutaji zisiuweke kwenye index seo.noindexP1
Ukurasa unakataza vipande vya maandishi, hivyo majibu ya AI ya Google hayawezi kuunukuu seo.nosnippetP1
Kadi ya mitandao ya kijamii haijakamilika: og:image seo.og_incompleteP3
URL inapitia redirect 2 seo.redirect_chainP3
Vichwa vya msingi vya usalama havipo: Content-Security-Policy seo.security_headersP3
Ukurasa ulichukua sekunde 4.2 kupakia seo.slow_responseP2
Lebo za onyesho la mitandao ya kijamii hazipo: og:image seo.social_missingP3
Title ina herufi 72 seo.title_lengthP3
Ukurasa hauna kichwa (title) seo.title_missingP1
Ukurasa hauna lebo ya viewport seo.viewport_missingP2
Hakuna sitemap iliyopatikana sitemap.noneP2
Sitemap haiwezi kupakuliwa (hali 403) sitemap.unreachableP2
Sitemap haiwezi kusomwa sitemap.unreadableP2
Ukurasa haumo kwenye sitemap sitemap.url_missingP2