robots.txt-ը հնարավոր չէ բեռնել
/robots.txt-ի բեռնումը ձախողվել է. սերվերը պատասխանել է 5xx կամ 429 կարգավիճակով կամ ընդհանրապես չի պատասխանել։ Ըստ RFC 9309-ի՝ այդ դեպքում ռոբոտներն ամբողջ կայքը համարում են արգելված։ Ապահովեք, որ /robots.txt-ը վերադարձնի 200 կարգավիճակ պարզ տեքստով, կամ 404, եթե կանոններ չունեք։
Ինչ է դա նշանակում
robots.txt-ը պատասխանել է 403 կարգավիճակով կամ չի պատասխանել։ Ըստ RFC 9309-ի՝ այդ դեպքում ռոբոտներն ամբողջ կայքը համարում են արգելված։
Ինչու է սա կարևոր AI որոնման համար
RFC 9309-ն ասում է, որ ռոբոտը, որը սերվերի սխալի պատճառով չի կարող հասնել robots.txt-ին, պետք է ենթադրի լրիվ արգելք։ Googlebot-ը, Bingbot-ը և ստանդարտին հետևող AI ռոբոտները դադարում են էջեր բեռնել, մինչև robots.txt-ը նորից պատասխանի, ուստի մեկ կոտրված ֆայլը կարող է թաքցնել ամբողջ կայքը։
Բացակայող ֆայլն այլ բան է. 404 կամ այլ 4xx կարգավիճակը նշանակում է, որ կանոններ չկան, ուստի ամեն ինչ թույլատրված է, և AISeeWhy-ն ոչինչ չի հաղորդում։ Խնդիրը միայն սերվերի սխալներն են, հարցումների սահմանափակումները (429) և հարցումները, որոնք ժամանակի սպառման պատճառով ընդհատվում են կամ մերժվում են մինչև որևէ կարգավիճակ ստանալը։
Ինչպես ուղղել
- Բացեք
https://your-domain/robots.txt-ը ձեր ցանցից դուրս և նշեք կարգավիճակը։ Աուդիտը այն բեռնում է բրաուզերի user agent-ով։ - Եթե դա 5xx է, ստուգեք origin-ի երթուղին. Next.js-ի նման ֆրեյմվորքերը այն մատուցում են
public/robots.txt-ից կամapp/robots.ts-ից, WordPress-ն այն ստեղծում է դինամիկ կերպով, ուստի PHP սխալը կոտրում է այն։ - Եթե դա 429 է կամ ժամանակի սպառում, ձեր CDN-ում կամ WAF-ում ազատեք
/robots.txt-ը հարցումների սահմանափակումից և ռոբոտների ստուգումներից։ - Քեշավորեք robots.txt-ը CDN-ում, որպեսզի այն պատասխանի նույնիսկ այն ժամանակ, երբ origin-ը դանդաղ է։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։