robots.txt го забранува OAI-SearchBot

Краток одговор

Вашиот robots.txt има правило Disallow што се совпаѓа со оваа страница за ознаката на овој краулер. Ревизијата го применува RFC 9309: сопствената група на краулерот ако ја има, инаку групата *, а победува најдолгото совпаднато правило. Додајте Allow за краулерот или отстранете го правилото ако сакате да го пуштите.

robots.disallowed · Приоритет: P1–P3, според типот на краулерот

Што значи

Правилата во вашиот robots.txt го спречуваат OAI-SearchBot да ја преземе /.

Зошто е важно за AI пребарувањето

Добро однесените AI краулери го почитуваат robots.txt. Ако OAI-SearchBot, Claude-SearchBot или PerplexityBot се забранети, страницата не се презема за нивните индекси за пребарување, па не може да се цитира во нивните одговори. Забраната на ознаките за обука, како GPTBot, ClaudeBot, Google-Extended или Applebot-Extended, ја спречува само употребата за обука на модели.

Многу сајтови ги блокираат AI краулерите случајно: шаблон што забранува сè освен Googlebot, или група User-agent: * со Disallow: / заостаната од тестната околина. Имајте предвид дека Applebot ја користи групата на Googlebot кога нема своја група.

Како да се поправи

  1. Најдете го правилото во наодот: ги наведува ознаката на краулерот и патеката. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
  2. Отстранете ја ознаката на краулерот од секоја група што ја забранува страницата, а потоа додајте му посебна група со Allow: /. Специфичната група ја заменува групата * за тој краулер, па правилата под * повеќе не важат за него.
  3. Во WordPress, проверете дали robots.txt е вистинска датотека во коренот на сајтот или го генерира SEO приклучок како Yoast или Rank Math, и уредете го таму. Во Shopify, уредете го шаблонот на темата robots.txt.liquid.
  4. На Cloudflare, проверете дали управуваната поставка за robots.txt додава правила за AI краулери врз вашата датотека.
  5. Задржете ги ознаките за обука забранети ако тоа е ваша политика; тоа не влијае на краулерите за пребарување, кои користат посебни ознаки.

Пример

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Како да се потврди поправката

По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.

Провери ја мојата страница →

Поврзани водичи

Сите наоди и како функционира оцената