Generator robots.txt za AI crawlere

Odaberite koji AI crawleri smiju čitati vašu web-stranicu i kopirajte generirani robots.txt. Čest je izbor blokirati AI crawlere za treniranje kao što su GPTBot i ClaudeBot, a dopustiti AI crawlere za pretraživanje kao što su OAI-SearchBot i PerplexityBot, kako bi se vaše stranice i dalje mogle pojavljivati i biti citirane u AI odgovorima.

Počnite od
AI treniranje
AI pretraživanje
Dohvat na zahtjev korisnika
Content-Signal (neobavezno): označite što dopuštate

Blokiranje dohvata na zahtjev korisnika ima ograničen učinak: neki dobavljači navode da ti agenti možda ne slijede robots.txt jer je stranicu zatražila osoba. Prije objave testirajte rezultat alatom za provjeru robots.txt. robots.txt tester i provjera za AI crawlere →

Kako ga koristiti

Stavite datoteku u korijen svoje domene (https://example.com/robots.txt). Ako već imate pravila za druge crawlere, zadržite ih i dodajte samo AI grupe. Promjene stupaju na snagu kad svaki crawler sljedeći put pročita datoteku, obično u roku od jednog dana.

Pokrenite potpunu provjeru →

Vodič

Kako koristiti generator robots.txt

Ovaj je tekst strojno preveden s engleskog.

Što generator piše

Označite crawlere koji smiju čitati vašu web-stranicu i uklonite oznaku s onih koje želite blokirati. Generator piše robots.txt s jednom grupom po blokiranom crawleru, User-agent: <token> iza čega slijedi Disallow: /, zatim završnu grupu User-agent: * koja dopušta sve ostalo. Dodajte adresu sitemapa i on dodaje redak Sitemap. Označite opcije Content-Signal i on dodaje redak Content-Signal koji navodi kako se vaš sadržaj smije koristiti.

Ništa ne napušta vaš preglednik: datoteka se gradi na stranici dok klikate, a kopirate je iz izlaznog okvira.

Od koje predloške krenuti

Primjer: blokiraj treniranje, dopusti AI pretraživanje

Svaki blokirani crawler ima vlastitu grupu, pa se njegov Disallow: / odnosi samo na njega. Svi ostali crawleri, uključujući OAI-SearchBot i Googlebot, padaju na User-agent: * i smiju čitati sve. Redak Content-Signal ponavlja istu namjeru za crawlere koji ga čitaju: pretraživanje i odgovori u stvarnom vremenu da, treniranje ne.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Prije objave

Česte pogreške

Česta pitanja

Hoće li blokiranje GPTBota ukloniti moju web-stranicu iz ChatGPT-a?

Ne. GPTBot prikuplja podatke za treniranje. Pretraživanje ChatGPT-a koristi OAI-SearchBot, a ChatGPT-User otvara stranice koje ljudi zatraže. Njih ostavite dopuštenima ako želite biti citirani.

Što je Content-Signal?

Redak u robots.txt koji navodi kako se vaš sadržaj smije koristiti: search, ai-input (odgovori u stvarnom vremenu) i ai-train (treniranje), svaki da ili ne. Podrška se razlikuje od dobavljača do dobavljača; grupe za pojedine crawlere ostaju pravilo koje crawleri slijede.

Utječe li Google-Extended na Google pretraživanje?

Ne. To je token samo za robots.txt koji određuje smije li Google koristiti vaše stranice za svoje AI modele; ne mijenja indeksiranje ni rangiranje u Google pretraživanju.

Šalje li se moj odabir nekamo?

Ne. Generator radi u vašem pregledniku i ništa se ne šalje na naš poslužitelj dok ne odlučite testirati datoteku.

Povezani alati i vodiči