Umebadilisha robots.txt? Ona jinsi kila crawler ya AI inavyoisoma

Mstari mmoja katika kundi lisilo sahihi unaweza kuzuia utafutaji wa ChatGPT wakati ulikusudia kuzuia mafunzo ya AI pekee. Kagua matokeo kwa crawler 16.

Bure · Bila kujisajili · Matokeo kwa sekunde 30

Kundi lipi linatumika

Crawler hufuata kundi linaloitaja kwa jina, si kundi la *, jambo linalowashangaza wamiliki wengi wa tovuti.

Utafutaji dhidi ya mafunzo

Zuia crawler za mafunzo ukitaka, huku ukibakiza zile zinazokuweka kwenye majibu ya utafutaji wa AI.

Marekebisho kamili

Mistari ya kubadilisha, tayari kubandikwa, na ukaguzi upya wa kuthibitisha.

Pata kifurushi kamili

Baada ya kuhamia Cloudflare · Baada ya kubadilisha muundo · Baada ya kuhamia Shopify