改了 robots.txt?看看每個 AI 爬蟲如何讀取它
你原本只想封鎖 AI 訓練,但寫錯群組的一行就可能封鎖 ChatGPT 搜尋。檢查 16 個爬蟲的結果。
免費 · 免註冊 · 30 秒出結果
哪個群組適用
爬蟲遵循點名它的那個群組,而不是 * 群組,這讓許多網站擁有者感到意外。
搜尋與訓練
如果願意,可以封鎖訓練用爬蟲,同時保留讓你出現在 AI 搜尋回答中的爬蟲。
精確的修正
需要修改的行,可直接貼上,再加一次重新檢查來確認。
你原本只想封鎖 AI 訓練,但寫錯群組的一行就可能封鎖 ChatGPT 搜尋。檢查 16 個爬蟲的結果。
免費 · 免註冊 · 30 秒出結果
爬蟲遵循點名它的那個群組,而不是 * 群組,這讓許多網站擁有者感到意外。
如果願意,可以封鎖訓練用爬蟲,同時保留讓你出現在 AI 搜尋回答中的爬蟲。
需要修改的行,可直接貼上,再加一次重新檢查來確認。