robots.txt ir HTML lapa
Adrese /robots.txt atgriež HTML dokumentu, parasti 404 lapu vai sākumlapu ar statusu 200. Rāpuļprogrammas nevar nolasīt noteikumus no HTML. Izsniedziet šajā ceļā robots.txt kā vienkāršu tekstu vai atgrieziet īstu 404 statusu, ja jums nav noteikumu.
Ko tas nozīmē
robots.txt adrese atgriež HTML (bieži 404 lapu ar statusu 200), tāpēc rāpuļprogrammas nevar nolasīt nevienu kārtulu.
Kāpēc tas ir svarīgi MI meklēšanai
Rāpuļprogrammas parsē robots.txt rindu pa rindai un ignorē to, ko nesaprot, tāpēc HTML lapa tām nedod ne noteikumus, ne Sitemap rindas. Jūsu iecerētā politika, piemēram, apmācības rāpuļprogrammu bloķēšana vai meklēšanas rāpuļprogrammu atļaušana, netiek piemērota, un tur norādītās sitemap netiek atrastas.
Tas parasti notiek vienas lapas lietotnēs un universālos maršrutos, kas uz katru nezināmu ceļu atbild ar lietotnes čaulu un statusu 200. AISeeWhy vērtē pēc satura, nevis pēc Content-Type galvenes, jo tā rīkojas arī rāpuļprogrammas: teksta fails, kas izsniegts kā text/html, joprojām tiek nolasīts, HTML lapa ne.
Kā to labot
- Atveriet
/robots.txtun apskatiet pirmkodu: ja tas sākas ar<!doctypevai<html, faila nav un atbild rezerves maršruts. - Pievienojiet īstu failu:
public/robots.txtNext.js, Vite vai Create React App, tīmekļa saknē nginx vai Apache, vai veidnirobots.txt.liquidShopify. - nginx pārliecinieties, ka
try_files ... /index.htmlrezerves maršruts nepārtver/robots.txt, pirms tiek pārbaudīts statiskais fails; ja vajag, pievienojietlocation = /robots.txt. - Izlabojiet universālo maršrutu, lai nezināmiem ceļiem tas sūta statusu 404. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
Piemērs
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.