robots.txt-ը HTML էջ է
/robots.txt հասցեն վերադարձնում է HTML փաստաթուղթ, սովորաբար 404 էջ կամ գլխավոր էջ՝ 200 կարգավիճակով։ Ռոբոտները չեն կարող HTML-ից որևէ կանոն կարդալ։ Այդ ուղում մատուցեք պարզ տեքստային robots.txt կամ վերադարձրեք իրական 404 կարգավիճակ, եթե կանոններ չունեք։
Ինչ է դա նշանակում
robots.txt-ի հասցեն վերադարձնում է HTML (հաճախ 404 էջ՝ 200 կարգավիճակով), ուստի ռոբոտները չեն կարող կարդալ որևէ կանոն։
Ինչու է սա կարևոր AI որոնման համար
Ռոբոտները robots.txt-ը վերլուծում են տող առ տող և անտեսում են այն, ինչ չեն հասկանում, ուստի HTML էջը նրանց ոչ կանոններ է տալիս, ոչ էլ Sitemap տողեր։ Ձեր նախատեսած քաղաքականությունը, օրինակ՝ ուսուցման ռոբոտների արգելափակումը կամ որոնողական ռոբոտների թույլատրումը, չի կիրառվում, և այնտեղ հայտարարված sitemap-ները չեն գտնվում։
Սա սովորաբար տեղի է ունենում single-page հավելվածների և catch-all երթուղիների դեպքում, որոնք յուրաքանչյուր անհայտ ուղու պատասխանում են հավելվածի կեղևով և 200 կարգավիճակով։ AISeeWhy-ն դատում է ըստ պատասխանի մարմնի, ոչ թե Content-Type վերնագրի, քանի որ ռոբոտներն էլ նույնն են անում. text/html-ով մատուցված տեքստային ֆայլը դեռ կարդացվում է, HTML էջը՝ ոչ։
Ինչպես ուղղել
- Բացեք
/robots.txt-ը և դիտեք սկզբնաղբյուրը. եթե այն սկսվում է<!doctype-ով կամ<html-ով, ֆայլը բացակայում է, և պատասխանում է պահուստային երթուղին։ - Ավելացրեք իրական ֆայլ.
public/robots.txtNext.js-ում, Vite-ում կամ Create React App-ում, վեբ արմատը nginx-ում կամ Apache-ում, կամrobots.txt.liquidձևանմուշը Shopify-ում։ - nginx-ում համոզվեք, որ
try_files ... /index.htmlպահուստային կանոնը չի որսում/robots.txt-ը մինչև ստատիկ ֆայլի ստուգումը. անհրաժեշտության դեպքում ավելացրեքlocation = /robots.txt։ - Ուղղեք ձեր catch-all երթուղին, որպեսզի անհայտ ուղիների համար ուղարկի 404 կարգավիճակ։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
Օրինակ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։