robots.txt-ը HTML էջ է

Կարճ պատասխան

/robots.txt հասցեն վերադարձնում է HTML փաստաթուղթ, սովորաբար 404 էջ կամ գլխավոր էջ՝ 200 կարգավիճակով։ Ռոբոտները չեն կարող HTML-ից որևէ կանոն կարդալ։ Այդ ուղում մատուցեք պարզ տեքստային robots.txt կամ վերադարձրեք իրական 404 կարգավիճակ, եթե կանոններ չունեք։

robots.invalid · Առաջնահերթություն: P2

Ինչ է դա նշանակում

robots.txt-ի հասցեն վերադարձնում է HTML (հաճախ 404 էջ՝ 200 կարգավիճակով), ուստի ռոբոտները չեն կարող կարդալ որևէ կանոն։

Ինչու է սա կարևոր AI որոնման համար

Ռոբոտները robots.txt-ը վերլուծում են տող առ տող և անտեսում են այն, ինչ չեն հասկանում, ուստի HTML էջը նրանց ոչ կանոններ է տալիս, ոչ էլ Sitemap տողեր։ Ձեր նախատեսած քաղաքականությունը, օրինակ՝ ուսուցման ռոբոտների արգելափակումը կամ որոնողական ռոբոտների թույլատրումը, չի կիրառվում, և այնտեղ հայտարարված sitemap-ները չեն գտնվում։

Սա սովորաբար տեղի է ունենում single-page հավելվածների և catch-all երթուղիների դեպքում, որոնք յուրաքանչյուր անհայտ ուղու պատասխանում են հավելվածի կեղևով և 200 կարգավիճակով։ AISeeWhy-ն դատում է ըստ պատասխանի մարմնի, ոչ թե Content-Type վերնագրի, քանի որ ռոբոտներն էլ նույնն են անում. text/html-ով մատուցված տեքստային ֆայլը դեռ կարդացվում է, HTML էջը՝ ոչ։

Ինչպես ուղղել

  1. Բացեք /robots.txt-ը և դիտեք սկզբնաղբյուրը. եթե այն սկսվում է <!doctype-ով կամ <html-ով, ֆայլը բացակայում է, և պատասխանում է պահուստային երթուղին։
  2. Ավելացրեք իրական ֆայլ. public/robots.txt Next.js-ում, Vite-ում կամ Create React App-ում, վեբ արմատը nginx-ում կամ Apache-ում, կամ robots.txt.liquid ձևանմուշը Shopify-ում։
  3. nginx-ում համոզվեք, որ try_files ... /index.html պահուստային կանոնը չի որսում /robots.txt-ը մինչև ստատիկ ֆայլի ստուգումը. անհրաժեշտության դեպքում ավելացրեք location = /robots.txt։
  4. Ուղղեք ձեր catch-all երթուղին, որպեսզի անհայտ ուղիների համար ուղարկի 404 կարգավիճակ։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։

Օրինակ

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Ինչպես համոզվել, որ ուղղումն աշխատել է

Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։

Ստուգել իմ էջը →

Առնչվող ուղեցույցներ

Բոլոր բացահայտումները և ինչպես է հաշվարկվում գնահատականը