robots.txt je stran HTML

Kratek odgovor

Naslov /robots.txt vrača dokument HTML, običajno stran 404 ali domačo stran s statusom 200. Pajki iz HTML ne morejo prebrati nobenih pravil. Na tej poti strezite robots.txt kot navadno besedilo ali vrnite pravi status 404, če pravil nimate.

robots.invalid · Prioriteta: P2

Kaj pomeni

Naslov robots.txt vrača HTML (pogosto stran 404 s statusom 200), zato pajki ne morejo prebrati nobenih pravil.

Zakaj je to pomembno za iskanje z UI

Pajki robots.txt razčlenjujejo vrstico za vrstico in prezrejo, česar ne razumejo, zato jim stran HTML ne da nobenih pravil in nobenih vrstic Sitemap. Vaša predvidena politika, na primer blokiranje pajkov za učenje ali dovoljevanje pajkov za iskanje, se ne uveljavi, zemljevidi strani, navedeni tam, pa niso najdeni.

To se običajno zgodi pri enostranskih aplikacijah in poteh catch-all, ki na vsako neznano pot odgovorijo z ogrodjem aplikacije in statusom 200. AISeeWhy presoja po vsebini in ne po glavi Content-Type, ker enako delajo pajki: besedilna datoteka, postrežena kot text/html, je še vedno prebrana, stran HTML pa ne.

Kako to popraviti

  1. Odprite /robots.txt in si oglejte izvorno kodo: če se začne z <!doctype ali <html, datoteka manjka in odgovarja nadomestna pot.
  2. Dodajte pravo datoteko: public/robots.txt v Next.js, Vite ali Create React App, v korensko mapo spletnega mesta v nginx ali Apache ali predlogo robots.txt.liquid v Shopifyju.
  3. V nginx poskrbite, da nadomestno pravilo try_files ... /index.html ne ujame /robots.txt, preden se preveri statična datoteka; po potrebi dodajte location = /robots.txt.
  4. Popravite pot catch-all, da za neznane poti pošlje status 404. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.

Primer

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kako potrditi popravek

Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.

Preveri mojo stran →

Sorodni vodniki

Vse ugotovitve in kako deluje ocena