Sitemap не може да се преземе (статус 403)

Краток одговор

Sitemap е наведен или очекуван, но неговото преземање не успеа со грешка, 401, 403, 429 или статус 5xx, па можеби ниту краулерите не можат да го прочитаат. Ревизијата го презема како прелистувач. Направете го URL-то на sitemap јавно и изземете го од предизвиците за ботови и ограничувањата на бројот на барања.

sitemap.unreachable · Приоритет: P2

Што значи

Пронајден е sitemap, но одговори со статус 403 или не одговори, па можеби ни краулерите не можат да го користат. Проверете дали вашиот заштитен ѕид им дозволува на краулерите да го преземат.

Зошто е важно за AI пребарувањето

Sitemap што враќа 403 или грешка на серверот е исто како да не постои: краулерите не можат од него да дознаат за нови или изменети страници. Заштитата од ботови е честа причина, бидејќи барањата за sitemap доаѓаат речиси исклучиво од краулери, а токму нив тие правила се направени да ги запрат.

Големите sitemap-и што се генерираат при секое барање исто така може да истечат или да ги достигнат ограничувањата на серверот, што се појавува како статус 5xx. Бидејќи ревизијата ја презема датотеката како прелистувач, неуспехот тука обично значи дека и краулерите се одбиени.

Како да се поправи

  1. Отворете го URL-то на sitemap од извештајот и забележете го статусот. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
  2. Во вашиот CDN или WAF, изземете ги патеките на sitemap (на пример /sitemap*.xml) од предизвиците, Bot Fight Mode и ограничувањето на бројот на барања.
  3. Ако е зад автентикација, како на тестна околина, направете го јавен на продукцискиот хост.
  4. За грешки 5xx, кеширајте го генерираниот sitemap или изградете го однапред како статичка датотека, а многу големите поделете ги со индекс на sitemap.

Како да се потврди поправката

По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.

Провери ја мојата страница →

Поврзани водичи

Сите наоди и како функционира оцената