Нема Content-Signal во robots.txt
Вашиот robots.txt нема ред Content-Signal. Овој изборен ред наведува како смее да се користи вашата содржина: во резултати од пребарување, како влез за AI одговори или за обука на AI. Без него ништо не се расипува. Додајте го ако сакате вашата политика за користење да биде запишана во машински читлив облик.
Што значи
Редот Content-Signal наведува како смее да се користи вашата содржина (пребарување, AI одговори, обука). Опционален е; додајте го ако сакате политиката да биде експлицитна.
Зошто е важно за AI пребарувањето
robots.txt кажува само дали краулерот смее да ја преземе страницата, а не што смее да се прави со содржината потоа. Content-Signal, воведен во Content Signals Policy на Cloudflare, додава три клуча: search, ai-input (користење на содржината за одговор на прашање во реално време) и ai-train.
Краулерите не се обврзани да го почитуваат, па AISeeWhy го оценува ова со P3. Сепак, тоа е јасен начин да се раздели „ова смеете да го користите во одговори“ од „не тренирајте на ова“ кога дозволувате краулер што може да го прави и двете, а ја документира вашата политика за секој што ја чита датотеката.
Како да се поправи
- Одлучете ја вашата политика за секој од
search,ai-inputиai-train. - Додајте ред
Content-Signalво групатаUser-agent: *во robots.txt, покрај нејзините правила Allow и Disallow. - Ако вашиот сајт е на Cloudflare, проверете дали неговиот управуван robots.txt веќе ги додава овие сигнали, за да не ги наведувате двапати.
- Задржете ги правилата Allow и Disallow такви какви што се: Content-Signal не ги заменува. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
Пример
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.