robots.txt ir HTML lapa

Īsa atbilde

Adrese /robots.txt atgriež HTML dokumentu, parasti 404 lapu vai sākumlapu ar statusu 200. Rāpuļprogrammas nevar nolasīt noteikumus no HTML. Izsniedziet šajā ceļā robots.txt kā vienkāršu tekstu vai atgrieziet īstu 404 statusu, ja jums nav noteikumu.

robots.invalid · Prioritāte: P2

Ko tas nozīmē

robots.txt adrese atgriež HTML (bieži 404 lapu ar statusu 200), tāpēc rāpuļprogrammas nevar nolasīt nevienu kārtulu.

Kāpēc tas ir svarīgi MI meklēšanai

Rāpuļprogrammas parsē robots.txt rindu pa rindai un ignorē to, ko nesaprot, tāpēc HTML lapa tām nedod ne noteikumus, ne Sitemap rindas. Jūsu iecerētā politika, piemēram, apmācības rāpuļprogrammu bloķēšana vai meklēšanas rāpuļprogrammu atļaušana, netiek piemērota, un tur norādītās sitemap netiek atrastas.

Tas parasti notiek vienas lapas lietotnēs un universālos maršrutos, kas uz katru nezināmu ceļu atbild ar lietotnes čaulu un statusu 200. AISeeWhy vērtē pēc satura, nevis pēc Content-Type galvenes, jo tā rīkojas arī rāpuļprogrammas: teksta fails, kas izsniegts kā text/html, joprojām tiek nolasīts, HTML lapa ne.

Kā to labot

  1. Atveriet /robots.txt un apskatiet pirmkodu: ja tas sākas ar <!doctype vai <html, faila nav un atbild rezerves maršruts.
  2. Pievienojiet īstu failu: public/robots.txt Next.js, Vite vai Create React App, tīmekļa saknē nginx vai Apache, vai veidni robots.txt.liquid Shopify.
  3. nginx pārliecinieties, ka try_files ... /index.html rezerves maršruts nepārtver /robots.txt, pirms tiek pārbaudīts statiskais fails; ja vajag, pievienojiet location = /robots.txt.
  4. Izlabojiet universālo maršrutu, lai nezināmiem ceļiem tas sūta statusu 404. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.

Piemērs

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kā pārliecināties, ka labojums darbojas

Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.

Pārbaudīt manu lapu →

Saistītie ceļveži

Visi konstatējumi un kā darbojas vērtējums