Crawlery AI i AEO w prostych słowach

Praktyczne poradniki dla właścicieli stron, marketerów i programistów: jakie są crawlery AI, co wolno im czytać i jak zadbać o to, by odpowiedzi AI mogły odczytać i zacytować Twoje strony.

Dostęp ChatGPT

Czy ChatGPT widzi moją stronę? Jak to sprawdzić

Jak sprawdzić, czy ChatGPT może czytać i cytować Twoją stronę: OAI-SearchBot, GPTBot i ChatGPT-User, robots.txt, firewalle i szybki test z curl.

Czytaj artykuł →Crawlery OpenAI

Crawlery OpenAI: GPTBot, OAI-SearchBot i ChatGPT-User

Co robią trzy crawlery OpenAI, który token robots.txt za co odpowiada i co zmienia zablokowanie GPTBot, OAI-SearchBot lub ChatGPT-User na Twojej stronie.

Czytaj artykuł →Firewalle i CDN

Czy Cloudflare blokuje crawlery AI? Jak to sprawdzić i naprawić

Dlaczego Cloudflare i inne WAF odpowiadają crawlerom AI kodem 403 lub weryfikacją, jak to rozpoznać i jak bezpiecznie przepuścić crawlery wyszukiwarek AI.

Czytaj artykuł →robots.txt

robots.txt dla crawlerów AI: co dopuścić, co zablokować

Jak napisać robots.txt dla crawlerów AI: dopuścić wyszukiwanie AI, osobno zdecydować o trenowaniu, token każdego crawlera, reguły RFC 9309 i częste błędy.

Czytaj artykuł →llms.txt

Czym jest llms.txt i czy warto go dodać

llms.txt w prostych słowach: czym jest ta propozycja, format Markdown, kto czyta plik dziś i jak napisać go w dziesięć minut. Uczciwie o wykorzystaniu.

Czytaj artykuł →Podstawy AEO

AEO a SEO: co jest wspólne i co się zmienia w odpowiedziach AI

AEO w porównaniu z SEO: co pozostaje takie samo, co zmienia się w odpowiedziach AI (dostęp, odpowiedź na początku, encje, aktualność) i lista kontrolna.

Czytaj artykuł →Crawlery Claude

Crawlery Anthropic: ClaudeBot, Claude-SearchBot i Claude-User

Trzej agenci sieciowi Anthropic: co robią ClaudeBot, Claude-SearchBot i Claude-User, ich tokeny robots.txt i co zmienia zablokowanie każdego z nich.

Czytaj artykuł →Crawlery Perplexity

Crawlery Perplexity: PerplexityBot i Perplexity-User

Dwaj agenci Perplexity: co robią PerplexityBot i Perplexity-User, którego z nich kontroluje robots.txt i jak ich dopuścić lub zablokować w firewallu.

Czytaj artykuł →Dane strukturalne

Dane strukturalne dla odpowiedzi AI: co oznaczać i jak

Jakie znaczniki schema.org pomagają odpowiedziom AI czytać stronę: Organization z sameAs, data i autor Article, FAQPage oraz Product z ceną, w formacie JSON-LD.

Czytaj artykuł →Renderowanie JavaScript

Czy crawlery AI mogą czytać treści renderowane przez JavaScript

Dlaczego treści renderowane tylko przez JavaScript często giną dla crawlerów AI, jak sprawdzić, co dostają, i jak to naprawić przez SSR lub statyczny HTML.

Czytaj artykuł →