GPTBot бос бет алады

Қысқа жауап

Краулер 200 статусын алды, бірақ нақты бетті алмады. Оның көрінетін мәтіні браузер алғанның 15%-ынан аз немесе онда браузер бетінде жоқ «access denied» не «are you a robot» сияқты бұғаттау тіркесі бар. Осы бос бетті беретін бот ережесін тауып, краулерге толық бетті көрсетіңіз.

access.soft_block · Басымдық: P1–P3, краулер түріне қарай

Бұл нені білдіреді

GPTBot user agent атымен жіберілген сұрау 200 статусын алды, бірақ бет мәтіні — бұғаттау туралы хабарлама немесе браузер алатыннан әлдеқайда қысқа.

Бұл ЖИ іздеу үшін неге маңызды

Жұмсақ бұғаттауды 403-тен байқау қиынырақ, себебі журналдар мен uptime мониторлары 200 көрсетеді. Краулер қандай мәтін алса, соны сақтайды, сондықтан жауап жүйесі сіздің мазмұныңыздың орнына «enable JavaScript and cookies» деп жазылған бетті индекстеуі немесе бетті мазмұны аз деп тастап кетуі мүмкін.

Тексеру браузер нұсқасында кемінде 200 таңба мәтін болғанда ғана жүреді. Екі жауап та бір серверден бір сәтте алынады, сондықтан мәтіндегі үлкен айырмашылық желіден немесе мазмұнның өзгеруінен емес, жүйеңіздің краулер user agent-іне қалай қарайтынынан туындайды.

Қалай түзетуге болады

  1. Есептің дәлелдеріндегі мәтін ұзындығы мен сәйкес келген тіркесті браузер нұсқасымен салыстырыңыз. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.
  2. Қатенің орнына аралық бетпен жауап беретін bot management функцияларын іздеңіз: Cloudflare challenge немесе JavaScript detection беттері, Imperva мен Akamai бот беттері немесе «verify you are human» плагині.
  3. Боттарға басқа үлгіні беретін dynamic rendering немесе кэш ережелерін, сондай-ақ белгісіз келушілерге бетті ауыстыратын A/B тестілеу немесе гео құралдарын тексеріңіз.
  4. Бос бетті беретін ережеге краулер үшін ерекшелік қосыңыз; платформаңыз қолдаса, оны IP ауқымы немесе reverse DNS арқылы растаңыз.

Түзетуді қалай растауға болады

Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.

Бетімді тексеру →

Байланысты нұсқаулықтар

Барлық мәселелер және баға қалай есептеледі