Odaberite koji AI crawleri smiju čitati vašu web-stranicu i kopirajte generirani robots.txt. Čest je izbor blokirati AI crawlere za treniranje kao što su GPTBot i ClaudeBot, a dopustiti AI crawlere za pretraživanje kao što su OAI-SearchBot i PerplexityBot, kako bi se vaše stranice i dalje mogle pojavljivati i biti citirane u AI odgovorima.
Blokiranje dohvata na zahtjev korisnika ima ograničen učinak: neki dobavljači navode da ti agenti možda ne slijede robots.txt jer je stranicu zatražila osoba. Prije objave testirajte rezultat alatom za provjeru robots.txt. robots.txt tester i provjera za AI crawlere →
Kako ga koristiti
Stavite datoteku u korijen svoje domene (https://example.com/robots.txt). Ako već imate pravila za druge crawlere, zadržite ih i dodajte samo AI grupe. Promjene stupaju na snagu kad svaki crawler sljedeći put pročita datoteku, obično u roku od jednog dana.
Označite crawlere koji smiju čitati vašu web-stranicu i uklonite oznaku s onih koje želite blokirati. Generator piše robots.txt s jednom grupom po blokiranom crawleru, User-agent: <token> iza čega slijedi Disallow: /, zatim završnu grupu User-agent: * koja dopušta sve ostalo. Dodajte adresu sitemapa i on dodaje redak Sitemap. Označite opcije Content-Signal i on dodaje redak Content-Signal koji navodi kako se vaš sadržaj smije koristiti.
Ništa ne napušta vaš preglednik: datoteka se gradi na stranici dok klikate, a kopirate je iz izlaznog okvira.
Od koje predloške krenuti
Dopusti sve: svaki crawler smije čitati svaku stranicu. Pravi izbor za većinu web-stranica koje žele biti pronađene i citirane.
Blokiraj treniranje, dopusti AI pretraživanje: crawleri za treniranje kao što su GPTBot, ClaudeBot, CCBot i Google-Extended su blokirani; pretraživački i korisnički crawleri kao što su OAI-SearchBot, Claude-SearchBot, PerplexityBot i ChatGPT-User ostaju dopušteni. Vaše se stranice i dalje mogu pojaviti i biti citirane u AI odgovorima.
Blokiraj sve AI crawlere: svaki AI crawler s popisa je blokiran. Ti crawleri neće dohvaćati vaše stranice za AI odgovore, što obično znači manje citata i manje prometa od asistenata.
Primjer: blokiraj treniranje, dopusti AI pretraživanje
Svaki blokirani crawler ima vlastitu grupu, pa se njegov Disallow: / odnosi samo na njega. Svi ostali crawleri, uključujući OAI-SearchBot i Googlebot, padaju na User-agent: * i smiju čitati sve. Redak Content-Signal ponavlja istu namjeru za crawlere koji ga čitaju: pretraživanje i odgovori u stvarnom vremenu da, treniranje ne.
Spojite, ne zamjenjujte. Ako vaš trenutni robots.txt ima pravila za administratorska područja, košarice ili stranice pretraživanja, kopirajte ih u grupu User-agent: * nove datoteke ili ćete ta područja otvoriti svim crawlerima.
Stavite datoteku u korijen svakog hosta: https://example.com/robots.txt. Poddomena treba vlastitu datoteku.
Poslužujte je kao običan tekst sa statusom 200. HTML stranica ili pogreška na toj adresi ne rade kao robots.txt.
Zalijepite rezultat u robots.txt tester i provjerite nekoliko stvarnih putanja za crawlere koji su vam važni.
Imajte na umu da je robots.txt molba. Ako vatrozid blokira crawler koji dopuštate, datoteka to ne može popraviti; potpuna provjera to pokazuje.
Česte pogreške
Blokiranje OAI-SearchBot ili PerplexityBot radi zaustavljanja treniranja. To su pretraživački crawleri; njihovo blokiranje uklanja vas iz odgovora.
Pisanje nekoliko redaka User-agent iznad jednog Disallow: / kad ste htjeli blokirati samo jedan od njih: uzastopni retci čine jednu grupu.
Očekivanje da će dohvaćači na zahtjev korisnika kao što je ChatGPT-User poštovati blokadu. Neki dobavljači kažu da ti agenti možda ne slijede robots.txt kad je osoba zatražila stranicu.
Dodavanje redaka Crawl-delay ili Noindex. Nisu dio RFC 9309 i Google zanemaruje oba.
Česta pitanja
Hoće li blokiranje GPTBota ukloniti moju web-stranicu iz ChatGPT-a?
Ne. GPTBot prikuplja podatke za treniranje. Pretraživanje ChatGPT-a koristi OAI-SearchBot, a ChatGPT-User otvara stranice koje ljudi zatraže. Njih ostavite dopuštenima ako želite biti citirani.
Što je Content-Signal?
Redak u robots.txt koji navodi kako se vaš sadržaj smije koristiti: search, ai-input (odgovori u stvarnom vremenu) i ai-train (treniranje), svaki da ili ne. Podrška se razlikuje od dobavljača do dobavljača; grupe za pojedine crawlere ostaju pravilo koje crawleri slijede.
Utječe li Google-Extended na Google pretraživanje?
Ne. To je token samo za robots.txt koji određuje smije li Google koristiti vaše stranice za svoje AI modele; ne mijenja indeksiranje ni rangiranje u Google pretraživanju.
Šalje li se moj odabir nekamo?
Ne. Generator radi u vašem pregledniku i ništa se ne šalje na naš poslužitelj dok ne odlučite testirati datoteku.