A robots.txt engedi a(z) GPTBot botot, de a szerver blokkolja
A robots.txt engedi, hogy ez a crawler letöltse az oldalt, de a user agentjével küldött kérést a szerver, egy CDN vagy egy tűzfal letiltotta. A kimondott szabályzat és a tényleges működés ellentmond egymásnak. Igazítsa a tűzfalszabályt a robots.txt-hez, vagy tiltsa le a crawlert a robots.txt-ben, ha tiltani akarta.
Mit jelent
A szabályai beengedik a(z) GPTBot botot, mégis blokkolták a user agentjével küldött kérést. A tűzfal vagy a CDN felülbírálja a kinyilvánított szabályzatot.
Miért fontos az AI-keresésben
A crawlerek a robots.txt-t az Ön szabályzatának tekintik. Ha az igent mond, a szerver pedig 403-at, a crawler kéréseket pazarol, később újra próbálkozhat, és az oldal mégsem kerül be a válaszmotor indexébe. A csapatok gyakran azt hiszik, hogy engedélyezik az AI-keresést, mert a robots.txt ezt mondja, miközben egy botszabály csendben tiltja.
A teszt ellenőrizetlen IP-címről fut. Egy olyan szabály, amely a crawlert csak a közzétett IP-tartományaiból engedi át, ami észszerű beállítás, ezért itt akkor is megjelenhet, ha az igazi crawler bejut. Mielőtt bármit módosít, nézze meg, melyik szabály lépett működésbe.
Hogyan javítható
- Vesse össze a találatban a robots.txt csoportját és a letiltott kérés státuszát. Az AISeeWhy jelentése megmutatja a bizonyítékot és egy beilleszthető javítást; utána az „Újraellenőrzés” gombbal ellenőrizze az eredményt.
- Keresse meg a kérést letiltó szabályt: Cloudflare-en nézze a Security → Events oldalt, valamint az AI Crawl Control és a Bot Fight Mode beállításait; más CDN-eknél a botkezelési naplót.
- Ha be akarja engedni a crawlert, adjon neki kivételt; ha ki akarja zárni, adjon hozzá Disallow csoportot a tokenjéhez, hogy a szabályzata egy helyen legyen kimondva.
Hogyan győződhet meg a javításról
A módosítás után kattintson a jelentésben az „Újraellenőrzés” gombra: látni fogja, mi javult, és hogyan változott a pontszám.