robots.txt je stran HTML
Naslov /robots.txt vrača dokument HTML, običajno stran 404 ali domačo stran s statusom 200. Pajki iz HTML ne morejo prebrati nobenih pravil. Na tej poti strezite robots.txt kot navadno besedilo ali vrnite pravi status 404, če pravil nimate.
Kaj pomeni
Naslov robots.txt vrača HTML (pogosto stran 404 s statusom 200), zato pajki ne morejo prebrati nobenih pravil.
Zakaj je to pomembno za iskanje z UI
Pajki robots.txt razčlenjujejo vrstico za vrstico in prezrejo, česar ne razumejo, zato jim stran HTML ne da nobenih pravil in nobenih vrstic Sitemap. Vaša predvidena politika, na primer blokiranje pajkov za učenje ali dovoljevanje pajkov za iskanje, se ne uveljavi, zemljevidi strani, navedeni tam, pa niso najdeni.
To se običajno zgodi pri enostranskih aplikacijah in poteh catch-all, ki na vsako neznano pot odgovorijo z ogrodjem aplikacije in statusom 200. AISeeWhy presoja po vsebini in ne po glavi Content-Type, ker enako delajo pajki: besedilna datoteka, postrežena kot text/html, je še vedno prebrana, stran HTML pa ne.
Kako to popraviti
- Odprite
/robots.txtin si oglejte izvorno kodo: če se začne z<!doctypeali<html, datoteka manjka in odgovarja nadomestna pot. - Dodajte pravo datoteko:
public/robots.txtv Next.js, Vite ali Create React App, v korensko mapo spletnega mesta v nginx ali Apache ali predlogorobots.txt.liquidv Shopifyju. - V nginx poskrbite, da nadomestno pravilo
try_files ... /index.htmlne ujame/robots.txt, preden se preveri statična datoteka; po potrebi dodajtelocation = /robots.txt. - Popravite pot catch-all, da za neznane poti pošlje status 404. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
Primer
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.