Kaip patikrinti, ar svetainė blokuoja DI robotus

Įklijuokite bet kurį adresą ir pažiūrėkite, ar jis blokuoja GPTBot, ClaudeBot, PerplexityBot ir kitus DI robotus: robots.txt faile, ugniasienėje ar abiejose vietose.

Nemokamai · Be registracijos · Rezultatas per 30 sekundžių

Kurie robotai blokuojami

Mokymo, paieškos ir naudotojų robotai rodomi atskirai, nes GPTBot blokavimas neblokuoja OAI-SearchBot, o ClaudeBot blokavimas neblokuoja Claude-SearchBot.

Eilutė, kuri nusprendžia

Kiekvieno roboto robots.txt skaitomas pagal RFC 9309 taisykles: grupė, kurioje jis paminėtas, arba atsarginė User-agent: *, ir taisyklė, kuri laimi.

Ugniasienės atmetimai

Puslapis užklausiamas kaip 14 robotų ir kaip įprasta naršyklė. Blokavimai ir patikrinimo puslapiai pažymimi, o atsakiusi ugniasienė įvardijama.

Sprendimas kiekvienam radiniui

Prie kiekvieno radinio pateikiamas keistinas dalykas. Nemokamas patikrinimas parodo jūsų įvertį ir pirmą radinį; pilna ataskaita kainuoja $29, vienkartinis mokestis.

Trumpas atsakymas

Svetainė gali blokuoti DI robotus dviejose vietose: robots.txt, kuris prašo robotų nesilankyti, ir serveryje ar ugniasienėje, kurie juos iš tikrųjų atmeta. Perskaitykite robots.txt kiekvieno roboto žymeniui, atsarginiu variantu laikydami User-agent: *, tada atsisiųskite puslapį kaip robotas ir palyginkite su naršykle. Naršyklės plėtinys robots.txt dalį 16 DI robotų atlieka vienu spustelėjimu.

Patikrinkite rankiniu būdu per 3 žingsnius

  1. Pasirinkite robotą

    Kiekviena DI bendrovė naudoja atskirus robotus. Mokymo: GPTBot, ClaudeBot. Paieškos: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Žmogaus prašymu: ChatGPT-User, Claude-User, Perplexity-User.

  2. Perskaitykite jam skirtą robots.txt

    Atidarykite https://example.com/robots.txt ir raskite grupę, kurioje paminėtas robotas. Jei tokios nėra, taikoma grupė User-agent: *; jei nėra nė vienos, leidžiama viskas.

  3. Atsisiųskite puslapį kaip robotas

    Paprašykite puslapio su roboto user agent ir palyginkite būseną bei dydį su naršyklės. 403, patikrinimo puslapis ar gerokai mažesnis 200 reiškia, kad ugniasienė jį atmeta.

Dažniausiai užduodami klausimai

Ar svetainė be robots.txt yra atvira DI robotams?

Taip, kiek tai susiję su robots.txt. 404 robots.txt failui reiškia, kad taisyklių nėra, todėl bet kuris robotas gali atsisiųsti bet kurį puslapį. Ugniasienė vis tiek gali blokuoti robotus.

Ar plėtinys rodo ugniasienės blokavimus?

Ne. Jis skaito robots.txt iš jūsų naršyklės, o tai parodo, ko svetainė prašo robotų. Ugniasienės ir apsaugos nuo robotų blokavimams reikia užklausos, išsiųstos kaip robotas, ir tai atlieka išsamus patikrinimas aiseewhy.com.

Ar galiu patikrinti ne savo svetainę?

Taip. robots.txt yra viešas, o plėtinys skaito tik svetainės skelbiamus robots.txt ir llms.txt failus, tuos pačius failus, kuriuos skaito kiekvienas robotas.

Skaitykite visą vadovą

Nesvarbu, ar tikrinate savo svetainę po pakeitimo, ar žiūrite į kito svetainę prieš ja pasikliaudami, klausimas „ar ši svetainė blokuoja DI robotus?“ turi tikslų atsakymą. Jis priklauso nuo to, kurį robotą turite omenyje, nes DI įmonės naudoja atskirus robotus mokymui, paieškai ir tiesioginiams apsilankymams, o svetainė su kiekvienu iš jų gali elgtis skirtingai. Šiame vadove parodyti trys patikrinimai, nuo greičiausio iki išsamiausio.

Kur svetainė gali blokuoti DI robotus?

Yra trys sluoksniai, ir robotas turi pereiti juos visus, kad galėtų naudoti puslapį.

  • robots.txt: viešas taisyklių failas, kurį sąžiningi robotai perskaito prieš ką nors atsisiųsdami. Tai prašymas, o ne spyna.
  • Serveris, CDN ar ugniasienė: jie lemia, kas iš tikrųjų grąžinama. Apsaugos nuo robotų taisyklė gali atsakyti robotui 403, 429 arba patikrinimo puslapiu net tada, kai robots.txt jį leidžia.
  • Pats puslapis: jei pagrindinis tekstas atsiranda tik paleidus JavaScript, pradinį HTML skaitantis robotas gauna beveik tuščią puslapį, nors niekas jo neblokavo.

Dauguma greitų patikrinimų žiūri tik į pirmą sluoksnį. Tai gera pradžia, jei tik nepamirštate kitų dviejų.

Kaip perskaityti robots.txt vienam DI robotui?

Atidarykite https://example.com/robots.txt naršyklėje ir raskite grupę, kuri taikoma robotui. Grupė prasideda viena ar keliomis User-agent eilutėmis. Robotas naudoja grupę, kurioje nurodytas jo žymuo, pvz., GPTBot; didžiosios ir mažosios raidės nesvarbios. Jei jokia grupė jo nenurodo, jis naudoja grupę User-agent: *. Jei nėra nė vienos, viskas leidžiama.

Grupėje laimi taisyklė su ilgiausiu atitinkančiu keliu, o kai Allow ir Disallow yra vienodo ilgio, laimi Allow. Taigi toliau pateiktas failas blokuoja GPTBot visoje svetainėje, bet įleidžia visus kitus robotus:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Taip pat pažiūrėkite, kaip failas atsako. Pagal RFC 9309 404 reiškia, kad taisyklių nėra, taigi viskas leidžiama. Serverio klaida (5xx) arba jokio atsakymo reiškia, kad robotas turi laikyti visą svetainę uždrausta. robots.txt adresas, grąžinantis HTML puslapį, yra dažna klaida: robotai jame neranda jokių galiojančių taisyklių.

Kaip patikrinti visus DI robotus iš karto?

Skaityti failą rankomis tampa lėta, kai jums rūpi daugiau nei vienas robotas. Kiekviena DI įmonė naudoja kelis, su skirtingomis užduotimis:

  • Mokymo robotai renka turinį modelių mokymui: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, taip pat žymenys Google-Extended ir Applebot-Extended, kurie būna tik robots.txt.
  • Paieškos robotai indeksuoja puslapius, kad DI atsakymai galėtų juos cituoti: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Naudotojų robotai atsisiunčia puslapį, kai žmogus to paprašo asistento: ChatGPT-User, Claude-User, Perplexity-User.

Nemokamas Chrome plėtinys DI robotų tikrinimas tai atlieka vienu spustelėjimu. Atidarykite bet kurį puslapį, spustelėkite piktogramą, ir jis perskaito svetainės robots.txt bei kiekvienam iš 16 robotų parodo, ar puslapis leidžiamas ir kuri eilutė tai lemia. Jis taip pat rodo Content-Signal nuostatas, ar svetainė turi llms.txt, ir robots.txt nurodytus svetainės žemėlapius. Jis veikia jūsų naršyklėje, nereikalauja paskyros ir skaito tik tą svetainę, kurioje jį spustelėjate.

Be Chrome nemokamas robots.txt tikrintuvas aiseewhy.com pateikia tą patį atsakymą įklijuotam URL.

Kaip patikrinti, ar ugniasienė juos praleidžia?

robots.txt parodo, ko svetainė prašo. Kad pamatytumėte, ką robotas iš tikrųjų gauna, užklauskite puslapio du kartus, vieną kartą kaip naršyklė ir vieną kartą su roboto user agent, ir palyginkite būsenos kodą bei atsakymo dydį:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jei naršyklė gauna 200, o robotas gauna 403, 429 ar 503 arba daug mažesnį puslapį, ugniasienė ar apsauga nuo robotų su robotu elgiasi kitaip. Kiekvienam išoriniam testui galioja vienas apribojimas: jis siunčiamas iš jūsų tinklo, o ne iš DI įmonės tinklo. Ugniasienė, kuri pasitiki robotais pagal jų paskelbtus IP adresus, su tikru robotu gali elgtis kitaip, todėl paskutinis žodis priklauso jūsų serverio žurnalams.

Išsamus patikrinimas aiseewhy.com atsisiunčia puslapį kaip visi 16 robotų šalia tikros naršyklės, įvardija ugniasienę ar taisyklę, kuri blokuoja robotą, ir palygina tekstą, kurį gavo kiekvienas iš jų.

Kokio rezultato siekti?

Tai priklauso nuo to, ko norite. Jei norite būti cituojami ChatGPT paieškoje, Claude ir Perplexity, paieškos ir naudotojų robotai turi būti leidžiami robots.txt ir gauti tikrą puslapį iš serverio. Jei nenorite, kad jūsų turinys būtų naudojamas mokymui, blokuokite tik mokymo žymenis. Tai atskiri pasirinkimai: GPTBot blokavimas neblokuoja OAI-SearchBot, o ClaudeBot blokavimas neblokuoja Claude-SearchBot.

Daug svetainių juos painioja. Mūsų 2026 m. lapkričio ataskaitoje apie 1 000 populiariausių domenų 63 % svetainių, blokuojančių mokymo robotą, blokuoja ir bent vieną DI paieškos ar naudotojų robotą, todėl jų puslapiai nepatenka į tuos DI atsakymus.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Šaltiniai

Daugiau straipsnių

Paskelbta