Pinapayagan ng robots.txt ang GPTBot, pero bina-block ito ng server

Maikling sagot

Pinapayagan ng robots.txt mo ang crawler na ito na kunin ang pahina, pero na-block ng server, CDN o firewall ang request na may user agent nito. Hindi magkatugma ang ipinahayag na patakaran at ang totoong nangyayari. Baguhin ang firewall rule para tumugma sa robots.txt, o i-disallow ang crawler sa robots.txt kung talagang gusto mo itong i-block.

robots.access_conflict · Priyoridad: P1–P3, ayon sa uri ng crawler

Ano ang ibig sabihin nito

Pinapapasok ng mga rule mo ang GPTBot, pero na-block ang request na may user agent nito. Nilalampasan ng firewall o CDN ang ipinahayag mong patakaran.

Bakit ito mahalaga para sa AI search

Itinuturing ng mga crawler ang robots.txt bilang patakaran mo. Kapag oo ang sinasabi nito at 403 ang sinasabi ng server, nasasayang ang mga request ng crawler, maaari itong umulit mamaya, at hindi pa rin napapasok ang pahina sa index ng answer engine. Madalas akala ng mga team ay pinapayagan nila ang AI search dahil iyon ang sinasabi ng robots.txt, habang tahimik itong bina-block ng isang bot rule.

Tumatakbo ang probe mula sa hindi beripikadong IP address. Kaya ang rule na nagpapapasok lang sa crawler mula sa mga inilathala nitong IP range, na makatwirang setup, ay maaaring lumabas dito kahit nakakapasok ang totoong crawler. Tingnan kung aling rule ang nag-trigger bago baguhin ang anuman.

Paano ito ayusin

  1. Ihambing ang group sa robots.txt at ang status ng na-block na request sa natuklasan. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
  2. Hanapin ang rule na nag-block sa request: sa Cloudflare tingnan ang Security → Events at ang mga setting ng AI Crawl Control at Bot Fight Mode; sa ibang CDN tingnan ang log ng bot management.
  3. Kung gusto mong papasukin ang crawler, magdagdag ng exception para dito; kung gusto mo itong ilayo, magdagdag ng Disallow group para sa token nito para nakasaad ang patakaran mo sa iisang lugar.

Paano kumpirmahin ang ayos

Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.

Suriin ang pahina ko →

Mga kaugnay na gabay

Lahat ng natuklasan at paano gumagana ang score