robots.txt testeris un pārbaude MI rāpuļprogrammām

Ievadiet lapas adresi: mēs nolasām vietnes robots.txt un parādām katrai MI un meklētāju rāpuļprogrammai, vai tā drīkst ielādēt šo lapu. Vai ielīmējiet robots.txt, lai to pārbaudītu pirms publicēšanas.

robots.txt ir tikai lūgums. Ugunsmūris vai aizsardzība pret robotiem joprojām var bloķēt rāpuļprogrammu, ko robots.txt atļauj; pilnā pārbaude to pārbauda. Palaist pilno pārbaudi →

Tā pati pārbaude atvērtajai lapai ar vienu klikšķi: MI rāpuļprogrammu pārbaude ↗

Kā MI rāpuļprogrammas lasa robots.txt

Katra rāpuļprogramma ievēro grupu, kurā minēts tās marķieris (piemēram, GPTBot vai PerplexityBot); tikai ja tādas nav, tā ievēro User-agent: *. Grupas ietvaros uzvar garākā atbilstošā kārtula, un neizšķirta gadījumā uzvar Allow. Apmācības rāpuļprogrammu, piemēram, GPTBot, ClaudeBot vai Google-Extended, bloķēšana neļauj izmantot jūsu saturu modeļu apmācībā; meklēšanas un lietotāju rāpuļprogrammu, piemēram, OAI-SearchBot, ChatGPT-User vai PerplexityBot, bloķēšana izslēdz jūsu lapas no MI atbildēm.

Ceļvedis

Kā lietot robots.txt testeri

Šo tekstu no angļu valodas ir tulkojusi mašīna.

Ko pārbauda šis robots.txt testeris

Ievadiet lapas adresi. Testeris ņem šīs adreses shēmu un resursdatoru, nolasa /robots.txt no šī resursdatora saknes un izvērtē tā kārtulas jūsu lapas ceļam. Tas atbild uz vienu jautājumu katrai no 16 rāpuļprogrammām: vai šī rāpuļprogramma drīkst ielādēt šo lapu?

Rāpuļprogrammas ir sagrupētas pēc tā, ko tās dara. Apmācības rāpuļprogrammas vāc lapas MI modeļiem: GPTBot, ClaudeBot, CCBot, Bytespider un Meta-ExternalAgent, kā arī tikai robots.txt marķieri Google-Extended un Applebot-Extended, kas paši nekad neapmeklē vietnes, bet norāda Google un Apple, vai tās drīkst izmantot jau ielādētās lapas. Meklēšanas rāpuļprogrammas veido indeksus, ko citē MI atbildes un meklēšanas rezultāti: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot un Applebot. Lietotāja aģenti ielādē lapu, kad cilvēks lūdz asistentam to atvērt: ChatGPT-User, Claude-User un Perplexity-User.

Adreses vietā varat arī ielīmēt robots.txt. Tad nekas netiek ielādēts: testeris izvērtē ielīmēto tekstu, tāpēc izmaiņas varat izmēģināt pirms publicēšanas. Ielīmētais teksts tiek izmantots tikai atbildei un netiek saglabāts.

Kā lasīt rezultātus

Tabulā katrai rāpuļprogrammai ir viena rinda. Jūsu ceļa kolonnā rakstīts Atļauta vai Bloķēta. Pēdējā kolonnā norādīts, kura faila daļa izšķīra:

Zem tabulas redzat failā norādītās Sitemap rindas un tā Content-Signal rindu, ja tāda ir. Ja adrese atgrieza tīmekļa lapu, nevis teksta failu, vai vispār nekādu failu, testeris to pasaka: rāpuļprogrammas HTML lapu adresē /robots.txt uzskata par neesošu failu.

Rinda ar Atļauta nozīmē tikai to, ka robots.txt šo rāpuļprogrammu neaptur. Tas nenozīmē, ka rāpuļprogramma ieradīsies, un neko nesaka par jūsu ugunsmūri.

Kā rāpuļprogramma izvēlas savas kārtulas

RFC 9309, robots.txt standarts, nosaka trīs noteikumus, kas izskaidro gandrīz katru pārsteidzošu rezultātu. Rāpuļprogramma vispirms meklē grupas, kuru User-agent atbilst tās marķierim, neņemot vērā lielos un mazos burtus. Ja tādu atrod, tā ievēro tikai šīs grupas un pilnībā ignorē User-agent: *. Izvēlētajā grupā uzvar kārtula ar garāko atbilstošo ceļu, un, ja Allow un Disallow atbilst ar vienādu garumu, uzvar Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Ar šo failu GPTBot ir bloķēta visās lapās, jo tai ir sava grupa. Visas pārējās rāpuļprogrammas drīkst ielādēt /private/press/kit.pdf, jo Allow: /private/press/ ir garāka par Disallow: /private/, un tām ir bloķēts /private/notes/. Pārbaudiet abus ceļus testerī, un redzēsiet, kā lēmums pāriet no vienas grupas uz otru.

Biežākās kļūdas ar piemēriem

Apmācības, meklēšanas un lietotāja rāpuļprogrammas: ko nozīmē katras bloķēšana

Apmācības rāpuļprogrammas bloķēšana ir politikas izvēle. Tā neļauj izmantot jūsu lapas turpmākā modeļu apmācībā un neietekmē, vai MI meklēšana var jūs citēt šodien. Bloķējot meklēšanas rāpuļprogrammu, piemēram, OAI-SearchBot, Claude-SearchBot vai PerplexityBot, jūsu lapas netiek iekļautas šī asistenta atbildēs. Bloķējot Googlebot vai Bingbot, jūs pazūdat no šiem meklētājiem un no MI funkcijām, kas uz tiem balstītas.

Lietotāja aģenti, piemēram, ChatGPT-User, darbojas cilvēka vārdā, kurš lūdza jūsu lapu. Daži piegādātāji norāda, ka šie aģenti šādiem pieprasījumiem var neievērot robots.txt, tāpēc kārtula tiem ir lūgums, nevis garantija. Ja vēlaties izslēgt apmācību un atstāt MI meklēšanu, bloķējiet apmācības marķierus un meklēšanas un lietotāja marķierus atstājiet mierā.

Testējiet pirms publicēšanas un tad vēlreiz

Ielīmējiet melnrakstu testerī, norādiet svarīgas lapas ceļu, piemēram, produkta vai cenu lapas, un izlasiet katras jums svarīgās rāpuļprogrammas rindu. Atkārtojiet ar ceļu, ko gribējāt bloķēt. Kad rezultāti atbilst jūsu nodomam, publicējiet failu un vēlreiz palaidiet testeri ar reālo adresi: tas pierāda, ka serveris atgriež jūsu rediģēto failu.

Rāpuļprogrammas kešo robots.txt; piemēram, Google parasti atjauno savu kopiju 24 stundu laikā. Izmaiņas to uzvedībā var parādīties tikai pēc dienas, un robots.txt pārskats Google Search Console rāda kopiju, ko Google ielādēja pēdējo reizi.

Kad robots.txt rāpuļprogrammu atļauj, bet tā joprojām ir bloķēta

robots.txt ir tikai lūgums. Ugunsmūris, aizsardzības pakalpojums pret robotiem vai CDN kārtula joprojām var atbildēt rāpuļprogrammai ar 403 vai pārbaudes lapu, kamēr cilvēki lapu saņem. Testeris to neredz, jo tas lasa tikai vienu failu. Pilnā pārbaude ielādē jūsu lapu ar katras rāpuļprogrammas lietotāja aģentu līdzās parastam pārlūkam un parāda, kura rāpuļprogramma saņem citādu atbildi, ar HTTP statusu un ugunsmūra parakstu.

Biežāk uzdotie jautājumi

Vai tas ir tas pats, kas Google robots.txt testeris?

Nē. Google 2023. gadā pārtrauca savu atsevišķo robots.txt testeri; robots.txt pārskats Search Console tagad rāda failu, ko ielādēja Google, un parsēšanas kļūdas, tikai Google rāpuļprogrammām. Šis testeris tās pašas RFC 9309 kārtulas vienlaikus piemēro 16 MI un meklētāju rāpuļprogrammām.

Vai Atļauta nozīmē, ka rāpuļprogramma lasīs vai citēs manu lapu?

Nē. Tas nozīmē, ka robots.txt to neaizliedz. Vai rāpuļprogramma saņems lapu, ir atkarīgs no jūsu servera un ugunsmūra, un vai asistents to citēs, ir atkarīgs no jūsu satura un uzdotā jautājuma.

Kāpēc pie rāpuļprogrammas rakstīts “nav kārtulas”?

Jūsu failā nav grupas tās marķierim un nav User-agent: * grupas, tāpēc uz to nekas neattiecas un katrs ceļš ir atļauts.

Vai varu pārbaudīt robots.txt, kas vēl nav publicēts?

Jā. Ielīmējiet tekstu otrajā laukā un ievadiet pārbaudāmo ceļu. No jūsu vietnes nekas netiek ielādēts, un ielīmētais teksts netiek saglabāts.

Vai testeris sūta pieprasījumus kā GPTBot vai citas rāpuļprogrammas?

Nē. Tas tikai nolasa jūsu robots.txt un piemēro kārtulas. Lai redzētu, ko katra rāpuļprogramma patiešām saņem no jūsu servera, palaidiet pilno pārbaudi.

Cik bieži varu to lietot?

Tas ir bez maksas un neprasa kontu. Lai tas būtu pieejams visiem, no katra tīkla stundā var veikt ierobežotu testu skaitu.

Saistītie rīki un ceļveži