GPTBot får en platshållarsida
Crawlern fick status 200, men inte den riktiga sidan. Dess synliga text är under 15 % av det webbläsaren fick, eller innehåller en blockfras som "access denied" eller "are you a robot" som webbläsarsidan inte har. Hitta botregeln som levererar den här platshållaren och låt crawlern se hela sidan.
Vad det betyder
En begäran med user agent GPTBot fick status 200, men sidans text är ett blockeringsmeddelande eller mycket kortare än det en webbläsare får.
Därför spelar det roll för AI-sök
En mjuk blockering är svårare att upptäcka än en 403 eftersom loggar och drifttidsövervakning visar 200. Crawlern sparar den text den fick, så en svarsmotor kan indexera en sida som säger "aktivera JavaScript och cookies" i stället för ditt innehåll, eller släppa sidan som tunn.
Kontrollen körs bara när webbläsarversionen har minst 200 tecken text. Båda svaren hämtas från samma server med några sekunders mellanrum, så en stor skillnad i text beror på hur din stack behandlar crawlerns user agent, inte på nätverket eller på att innehållet ändrats.
Så åtgärdar du det
- Jämför textlängden och den matchade frasen i rapportens underlag med webbläsarversionen. AISeeWhy-rapporten visar underlaget och en färdig åtgärd att klistra in; kör "Kontrollera igen" efteråt för att bekräfta resultatet.
- Leta efter botfunktioner som svarar med en mellansida i stället för ett fel: Cloudflares utmanings- eller JavaScript-sidor, botsidor från Imperva och Akamai, eller ett plugin för "verifiera att du är människa".
- Kontrollera dynamisk rendering eller cacheregler som levererar en annan mall till botar, samt A/B-tester eller geoverktyg som byter ut sidan för okända besökare.
- Lägg till ett undantag för crawlern i regeln som levererar platshållaren, verifierat mot IP-intervall eller omvänd DNS där din plattform stöder det.
Så bekräftar du åtgärden
Klicka på "Kontrollera igen" i rapporten efter ändringen: den visar vad som har åtgärdats och hur poängen har ändrats.