GPTBot saņem aizstājlapu

Īsa atbilde

Rāpuļprogramma saņēma statusu 200, bet ne īsto lapu. Tās redzamais teksts ir mazāk nekā 15% no tā, ko saņēma pārlūks, vai tajā ir bloķēšanas frāze, piemēram, “access denied” vai “are you a robot”, kuras pārlūka lapā nav. Atrodiet robotu noteikumu, kas izsniedz šo aizstājlapu, un ļaujiet rāpuļprogrammai redzēt pilnu lapu.

access.soft_block · Prioritāte: P1–P3 atkarībā no rāpuļprogrammas veida

Ko tas nozīmē

Pieprasījums ar GPTBot user-agent saņēma statusu 200, bet lapas teksts ir paziņojums par bloķēšanu vai daudz īsāks nekā pārlūkam.

Kāpēc tas ir svarīgi MI meklēšanai

Aizstājlapu pamanīt ir grūtāk nekā 403, jo žurnāli un pieejamības monitori rāda 200. Rāpuļprogramma saglabā jebkuru saņemto tekstu, tāpēc atbilžu dzinējs var indeksēt lapu ar tekstu “ieslēdziet JavaScript un sīkdatnes”, nevis jūsu saturu, vai atmest lapu kā pārāk plānu.

Pārbaude notiek tikai tad, ja pārlūka versijā ir vismaz 200 rakstzīmes teksta. Abas atbildes tiek ielādētas no tā paša servera ar nelielu laika starpību, tāpēc liela atšķirība tekstā rodas no tā, kā jūsu sistēma izturas pret rāpuļprogrammas user-agent, nevis no tīkla vai satura izmaiņām.

Kā to labot

  1. Salīdziniet teksta garumu un atrasto frāzi pārskata pierādījumos ar pārlūka versiju. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
  2. Meklējiet robotu pārvaldības funkcijas, kas kļūdas vietā atbild ar starplapu: Cloudflare pārbaudes vai JavaScript noteikšanas lapas, Imperva un Akamai robotu lapas vai spraudni “pārliecinieties, ka esat cilvēks”.
  3. Pārbaudiet dinamiskās renderēšanas vai kešatmiņas noteikumus, kas robotiem izsniedz citu veidni, un A/B testēšanas vai ģeogrāfiskos rīkus, kas nezināmiem apmeklētājiem aizstāj lapu.
  4. Pievienojiet izņēmumu rāpuļprogrammai noteikumā, kas izsniedz aizstājlapu, verificējot to pēc IP diapazona vai reverse DNS, ja jūsu platforma to atbalsta.

Kā pārliecināties, ka labojums darbojas

Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.

Pārbaudīt manu lapu →

Saistītie ceļveži

Visi konstatējumi un kā darbojas vērtējums