robots.txt GPTBot краулеріне рұқсат береді, бірақ сервер оны бұғаттайды

Қысқа жауап

robots.txt файлыңыз осы краулерге бетті алуға рұқсат береді, бірақ оның user agent атымен жіберілген сұрауды сервер, CDN немесе файрвол бұғаттады. Жарияланған саясат пен нақты әрекет сәйкес емес. Файрвол ережесін robots.txt-ке сәйкестендіріңіз немесе краулерді бұғаттағыңыз келсе, robots.txt-те оған тыйым салыңыз.

robots.access_conflict · Басымдық: P1–P3, краулер түріне қарай

Бұл нені білдіреді

Ережелеріңіз GPTBot краулерін өткізеді, бірақ оның user agent атымен жіберілген сұрау бұғатталды. Файрвол немесе CDN сіз жариялаған саясатты бұзып тұр.

Бұл ЖИ іздеу үшін неге маңызды

Краулерлер robots.txt-ті сіздің саясатыңыз деп қабылдайды. Ол «иә» десе, ал сервер 403 десе, краулер сұрауларды босқа жұмсайды, кейін қайталап көруі мүмкін, ал бет бәрібір жауап жүйесінің индексіне түспейді. Командалар көбіне robots.txt солай дегендіктен ЖИ іздеуге рұқсат бердік деп ойлайды, ал бот ережесі оны үнсіз бұғаттап тұрады.

Сынақ сұрауы расталмаған IP мекенжайынан жіберіледі. Сондықтан краулерді тек жарияланған IP ауқымдарынан өткізетін ереже (бұл — орынды баптау) нақты краулер өтсе де, осы жерде көрінуі мүмкін. Бірдеңені өзгертпес бұрын, қай ереже іске қосылғанын тексеріңіз.

Қалай түзетуге болады

  1. Мәселедегі robots.txt тобын және бұғатталған сұраудың статусын салыстырыңыз. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.
  2. Сұрауды бұғаттаған ережені табыңыз: Cloudflare-де Security → Events бөлімін және AI Crawl Control мен Bot Fight Mode параметрлерін тексеріңіз; басқа CDN-дерде bot management журналын қараңыз.
  3. Краулерді өткізгіңіз келсе, оған ерекшелік қосыңыз; бұғаттағыңыз келсе, саясатыңыз бір жерде көрсетілуі үшін оның токеніне Disallow тобын қосыңыз.

Түзетуді қалай растауға болады

Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.

Бетімді тексеру →

Байланысты нұсқаулықтар

Барлық мәселелер және баға қалай есептеледі