Kā pārbaudīt, vai vietne bloķē MI rāpuļprogrammas

Ielīmējiet jebkuru adresi un uzziniet, vai tā bloķē GPTBot, ClaudeBot, PerplexityBot un citas MI rāpuļprogrammas: robots.txt, ugunsmūrī vai abās vietās.

Bez maksas · Bez reģistrācijas · Rezultāts 30 sekundēs

Kuras rāpuļprogrammas ir bloķētas

Apmācības, meklēšanas un lietotāja rāpuļprogrammas ir parādītas atsevišķi, jo GPTBot bloķēšana nebloķē OAI-SearchBot, un ClaudeBot bloķēšana nebloķē Claude-SearchBot.

Rindiņa, kas izšķir

Katrai rāpuļprogrammai robots.txt tiek lasīts pēc RFC 9309 noteikumiem: grupa, kas to nosauc, vai rezervē User-agent: *, un kārtula, kas uzvar.

Ugunsmūra atteikumi

Lapa tiek pieprasīta kā 14 rāpuļprogrammas un kā parasts pārlūks. Bloķēšana un pārbaudes lapas tiek atzīmētas, un ugunsmūris, kas atbildēja, tiek nosaukts.

Labojums katram atradumam

Katram atradumam ir pievienots veicamais labojums. Bezmaksas pārbaude parāda jūsu rezultātu un pirmo atradumu; pilns pārskats maksā $29, vienreiz.

Īsa atbilde

Vietne var bloķēt MI rāpuļprogrammas divās vietās: robots.txt, kas lūdz rāpuļprogrammām turēties pa gabalu, un serverī vai ugunsmūrī, kas tās patiešām atraida. Izlasiet robots.txt katras rāpuļprogrammas marķierim, rezervē izmantojot User-agent: *, tad ielādējiet lapu kā rāpuļprogramma un salīdziniet ar pārlūku. Pārlūka paplašinājums robots.txt daļu 16 MI rāpuļprogrammām paveic ar vienu klikšķi.

Pārbaudiet paši 3 soļos

  1. Izvēlieties rāpuļprogrammu

    Katrs MI uzņēmums darbina atsevišķas. Apmācība: GPTBot, ClaudeBot. Meklēšana: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Cilvēka pieprasījuma gadījumā: ChatGPT-User, Claude-User, Perplexity-User.

  2. Izlasiet tai paredzēto robots.txt

    Atveriet https://example.com/robots.txt un atrodiet grupu, kas nosauc rāpuļprogrammu. Ja tādas nav, darbojas grupa User-agent: *; ja nav arī tās, viss ir atļauts.

  3. Ielādējiet lapu kā rāpuļprogramma

    Pieprasiet lapu ar rāpuļprogrammas user-agent un salīdziniet statusu un izmēru ar pārlūka saņemtajiem. 403, pārbaudes lapa vai ievērojami mazāks 200 nozīmē, ka ugunsmūris to atraida.

Biežāk uzdotie jautājumi

Vai vietne bez robots.txt ir atvērta MI rāpuļprogrammām?

Jā, ciktāl tas attiecas uz robots.txt. 404 robots.txt failam nozīmē, ka kārtulu nav, tāpēc jebkura rāpuļprogramma drīkst ielādēt jebkuru lapu. Ugunsmūris tomēr var bloķēt rāpuļprogrammas.

Vai paplašinājums rāda ugunsmūra bloķējumus?

Nē. Tas lasa robots.txt no jūsu pārlūka, un tas parāda, ko vietne lūdz rāpuļprogrammām darīt. Ugunsmūra un aizsardzības pret robotiem bloķējumiem vajag pieprasījumu, kas nosūtīts kā rāpuļprogramma, un to dara pilnā pārbaude vietnē aiseewhy.com.

Vai varu pārbaudīt vietni, kas nav mana?

Jā. robots.txt ir publisks, un paplašinājums lasa tikai vietnes publicētos robots.txt un llms.txt failus, tos pašus failus, ko lasa jebkura rāpuļprogramma.

Lasīt visu pamācību

Neatkarīgi no tā, vai pārbaudāt savu vietni pēc izmaiņām vai skatāties uz kāda cita vietni, pirms uz to paļauties, jautājumam „vai šī vietne bloķē MI rāpuļprogrammas?” ir precīza atbilde. Tā ir atkarīga no tā, kuru rāpuļprogrammu jūs domājat, jo MI uzņēmumi darbina atsevišķas rāpuļprogrammas apmācībai, meklēšanai un tiešiem apmeklējumiem, un vietne pret katru var izturēties citādi. Šajā ceļvedī parādītas trīs pārbaudes, no ātrākās līdz pilnīgākajai.

Kur vietne var bloķēt MI rāpuļprogrammas?

Ir trīs slāņi, un rāpuļprogrammai jāiziet cauri visiem, lai tā varētu izmantot lapu.

  • robots.txt: publisks kārtulu fails, ko godprātīgas rāpuļprogrammas izlasa, pirms kaut ko ielādē. Tas ir lūgums, nevis slēdzene.
  • Serveris, CDN vai ugunsmūris: tas nosaka, kas patiešām tiek nosūtīts atpakaļ. Aizsardzības pret robotiem kārtula var atbildēt rāpuļprogrammai ar 403, 429 vai pārbaudes lapu pat tad, ja robots.txt to atļauj.
  • Pati lapa: ja galvenais teksts parādās tikai pēc JavaScript izpildes, rāpuļprogramma, kas lasa sākotnējo HTML, saņem gandrīz tukšu lapu, lai gan nekas to nebloķēja.

Lielākā daļa ātro pārbaužu skatās tikai pirmo slāni. Tas ir labs sākums, ja vien atceraties par pārējiem diviem.

Kā izlasīt robots.txt vienai MI rāpuļprogrammai?

Atveriet https://example.com/robots.txt pārlūkā un atrodiet grupu, kas attiecas uz rāpuļprogrammu. Grupa sākas ar vienu vai vairākām User-agent rindām. Rāpuļprogramma izmanto grupu, kurā nosaukts tās marķieris, piemēram, GPTBot; salīdzināšana nav reģistrjutīga. Ja neviena grupa to nenosauc, tā izmanto grupu User-agent: *. Ja nav ne vienas, ne otras, viss ir atļauts.

Grupas ietvaros uzvar kārtula ar garāko atbilstošo ceļu, un, ja Allow un Disallow ir vienāda garuma, uzvar Allow. Tātad tālāk redzamais fails bloķē GPTBot visā vietnē, bet ielaiž visas pārējās rāpuļprogrammas:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Paskatieties arī, kā fails atbild. Saskaņā ar RFC 9309 404 nozīmē, ka kārtulu nav, tātad viss ir atļauts. Servera kļūda (5xx) vai atbildes neesamība nozīmē, ka rāpuļprogrammai visa vietne jāuzskata par aizliegtu. robots.txt adrese, kas atgriež HTML lapu, ir bieža kļūda: rāpuļprogrammas tajā neatrod nevienu derīgu kārtulu.

Kā pārbaudīt visas MI rāpuļprogrammas uzreiz?

Faila lasīšana ar roku kļūst lēna, tiklīdz jums svarīga vairāk nekā viena rāpuļprogramma. Katrs MI uzņēmums darbina vairākas, ar dažādiem uzdevumiem:

  • Apmācības rāpuļprogrammas vāc saturu modeļu apmācībai: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, kā arī marķieri Google-Extended un Applebot-Extended, kas parādās tikai robots.txt.
  • Meklēšanas rāpuļprogrammas indeksē lapas, lai MI atbildes varētu tās citēt: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Lietotāju rāpuļprogrammas ielādē lapu, kad cilvēks to palūdz asistentam: ChatGPT-User, Claude-User, Perplexity-User.

Bezmaksas Chrome paplašinājums MI rāpuļprogrammu pārbaude to paveic ar vienu klikšķi. Atveriet jebkuru lapu, noklikšķiniet uz ikonas, un tas izlasa vietnes robots.txt un katrai no 16 rāpuļprogrammām parāda, vai lapa ir atļauta un kura rinda to nosaka. Tas parāda arī Content-Signal preferences, vai vietnei ir llms.txt, un robots.txt norādītās vietņu kartes. Tas darbojas jūsu pārlūkā, neprasa kontu un lasa tikai to vietni, kurā uz tā noklikšķināt.

Bez Chrome bezmaksas robots.txt pārbaudītājs vietnē aiseewhy.com sniedz to pašu atbildi par ielīmētu URL.

Kā pārbaudīt, vai ugunsmūris tās ielaiž?

robots.txt parāda, ko vietne lūdz. Lai redzētu, ko rāpuļprogramma patiešām saņem, pieprasiet lapu divreiz, vienreiz kā pārlūks un vienreiz ar rāpuļprogrammas user-agent, un salīdziniet statusa kodu un atbildes izmēru:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ja pārlūks saņem 200, bet rāpuļprogramma saņem 403, 429 vai 503 vai daudz mazāku lapu, ugunsmūris vai aizsardzība pret robotiem pret rāpuļprogrammu izturas citādi. Katram ārējam testam ir viens ierobežojums: tas nāk no jūsu tīkla, nevis no MI uzņēmuma tīkla. Ugunsmūris, kas uzticas rāpuļprogrammām pēc to publicētajām IP adresēm, pret īsto rāpuļprogrammu var izturēties citādi, tāpēc pēdējais vārds ir jūsu servera žurnāliem.

Pilnā pārbaude vietnē aiseewhy.com ielādē lapu kā visas 16 rāpuļprogrammas līdzās īstam pārlūkam, nosauc ugunsmūri vai kārtulu, kas bloķē rāpuļprogrammu, un salīdzina tekstu, ko saņēma katra no tām.

Kādu rezultātu tiekties sasniegt?

Tas ir atkarīgs no tā, ko vēlaties. Ja vēlaties, lai jūs citē ChatGPT meklēšanā, Claude un Perplexity, meklēšanas un lietotāju rāpuļprogrammām jābūt atļautām robots.txt un jāsaņem no servera īstā lapa. Ja nevēlaties, lai jūsu saturs tiktu izmantots apmācībai, bloķējiet tikai apmācības marķierus. Tās ir atsevišķas izvēles: GPTBot bloķēšana nebloķē OAI-SearchBot, un ClaudeBot bloķēšana nebloķē Claude-SearchBot.

Daudzas vietnes tās jauc. Mūsu 2026. gada novembra pārskatā par 1000 populārākajiem domēniem 63% vietņu, kas bloķē apmācības rāpuļprogrammu, bloķē arī vismaz vienu MI meklēšanas vai lietotāju rāpuļprogrammu, un tas viņu lapas izslēdz no šīm MI atbildēm.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Avoti

Citi raksti

Publicēts