AI 爬蟲與 AEO 全解析
為網站經營者、行銷人員與開發者準備的實用指南:有哪些 AI 爬蟲、它們被允許讀取什麼,以及如何確保 AI 答案能讀取並引用你的頁面。
ChatGPT 看得到我的網站嗎?檢查方法
如何檢查 ChatGPT 能否讀取並引用你的網站:OAI-SearchBot、GPTBot 與 ChatGPT-User、robots.txt、防火牆,以及簡單的 curl 測試。
閱讀文章 →OpenAI 爬蟲OpenAI 爬蟲全解析:GPTBot、OAI-SearchBot 與 ChatGPT-User
OpenAI 三種爬蟲各自的用途、哪個 robots.txt 標記控制什麼,以及封鎖 GPTBot、OAI-SearchBot 或 ChatGPT-User 對你的網站有何影響。
閱讀文章 →防火牆與 CDNCloudflare 是否在封鎖 AI 爬蟲?找出原因並修正
為何 Cloudflare 等 WAF 會以 403 或驗證挑戰頁回應 AI 爬蟲、如何發現這個問題,以及如何安全地放行 AI 搜尋爬蟲。
閱讀文章 →robots.txtAI 爬蟲的 robots.txt:該允許什麼、該封鎖什麼
如何為 AI 爬蟲撰寫 robots.txt:允許 AI 搜尋、另行決定訓練政策、各爬蟲的標記、RFC 9309 比對規則與常見錯誤。
閱讀文章 →llms.txt什麼是 llms.txt?值得加嗎?
llms.txt 全解析:這項提案是什麼、Markdown 格式、目前誰在讀它,以及如何在十分鐘內寫好一份,並坦白看待採用現況。
閱讀文章 →AEO 基礎AEO 與 SEO:哪些相同,AI 答案又帶來哪些改變
AEO 與 SEO 比較:哪些不變、AI 答案帶來哪些改變(存取、答案優先的內容、實體、時效性),並附檢查清單。
閱讀文章 →Claude 爬蟲Anthropic 的爬蟲:ClaudeBot、Claude-SearchBot 與 Claude-User
Anthropic 的三種網路代理程式:ClaudeBot、Claude-SearchBot 與 Claude-User 的用途、robots.txt 標記,以及封鎖各自會有什麼影響。
閱讀文章 →Perplexity 爬蟲Perplexity 的爬蟲:PerplexityBot 與 Perplexity-User
Perplexity 的兩個代理程式:PerplexityBot 與 Perplexity-User 的用途、robots.txt 控制哪一個,以及如何在防火牆放行或封鎖它們。
閱讀文章 →結構化資料給 AI 答案用的結構化資料:該標記什麼、怎麼標記
哪些 schema.org 標記能幫助 AI 答案讀懂你的頁面:含 sameAs 的 Organization、Article 日期與作者、FAQPage,以及含價格的 Product(JSON-LD)。
閱讀文章 →JavaScript 渲染AI 爬蟲讀得到由 JavaScript 呈現的內容嗎?
為什麼只靠 JavaScript 呈現的內容對 AI 爬蟲常常是缺失的、如何檢查它們收到什麼,以及如何用 SSR 或靜態 HTML 修正。
閱讀文章 →