วิธีชะลอ AI crawler โดยไม่ต้องบล็อก
จำกัดอัตราแทนการบล็อก ตอบคำขอส่วนเกินของ crawler ด้วย 429 หรือ 503 พร้อมเฮดเดอร์ Retry-After ให้แต่ละ crawler มีโควตาของตัวเอง กัน /robots.txt ออกจากทุกขีดจำกัด และส่งหน้าให้ crawler จากแคช Crawl-delay ใน robots.txt ได้ผลเฉพาะเมื่อผู้ให้บริการระบุว่ารองรับ: Anthropic และ Bing รองรับ Google ระบุว่าไม่รองรับ ส่วน OpenAI และ Perplexity ไม่ได้พูดถึง ให้คงการอนุญาต AI search crawler ไว้ มิฉะนั้นคุณจะหลุดจากคำตอบที่ crawler เหล่านั้นป้อนข้อมูลให้ด้วย
เมื่อ crawler ส่งคำขอหลายพันครั้งต่อชั่วโมง ทางแก้ด่วนคือ Disallow: / หรือบล็อกที่ไฟร์วอลล์ สำหรับ crawler สำหรับการเทรน นั่นอาจเป็นทางเลือกที่สมเหตุสมผล แต่สำหรับ OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot จะเป็นการเอาหน้าของคุณออกจากคำตอบของ AI ที่คุณอยากปรากฏ ส่วนใหญ่ลดโหลดได้โดยไม่ต้องเสียสิ่งนั้น ด้วยสัญญาณที่ crawler เข้าใจอยู่แล้ว ได้แก่ รหัสสถานะ แคช และสำหรับผู้ให้บริการบางราย Crawl-delay
ในหน้านี้
crawler ตัวไหนเป็นต้นเหตุของโหลดจริง ๆ
ดูก่อนเปลี่ยนอะไร นับคำขอต่อ user agent และต่อชั่วโมงในล็อกการเข้าถึง และตรวจ IP ต้นทางกับช่วงที่ผู้ให้บริการแต่ละรายเผยแพร่ คู่มือของเราเรื่องการตรวจล็อกเซิร์ฟเวอร์หา AI crawler มีคำสั่งให้ มีสองสิ่งที่มักพบ:
- ทราฟฟิกหนักแค่อ้างว่าเป็น AI crawler ถ้า IP ไม่อยู่ในรายการของผู้ให้บริการ กฎสำหรับ crawler จริงจะไม่ช่วย ให้จำกัดหรือบล็อกทราฟฟิกนั้นตามแหล่งที่มาแทน
- crawler จริงติดอยู่ใน crawl trap เช่น หน้าปฏิทินไม่รู้จบ ชุดตัวกรองนับไม่ถ้วน หรือ session ID ใน URL การปิดกับดักด้วยกฎ
Disallowสำหรับพาธเหล่านั้นประหยัดได้มากกว่าการจำกัดอัตราใด ๆ
จัดกลุ่ม crawler ตามหน้าที่ด้วย crawler สำหรับการเทรนอย่าง GPTBot และ ClaudeBot ไม่ใช่ตัวที่ทำให้คุณถูกอ้างอิงในการค้นหาด้วย AI ถ้าตัวใดตัวหนึ่งเป็นปัญหา การ disallow ก็เป็นทางเลือกที่สมเหตุสมผล เนื้อหาที่เหลือของคู่มือนี้สำหรับ crawler ที่คุณต้องการเก็บไว้
Crawl-delay ใช้ได้กับ AI crawler ไหม
Crawl-delay ไม่ได้อยู่ใน RFC 9309 ผู้ให้บริการแต่ละรายจึงตัดสินใจเองว่าจะอ่านหรือไม่ เอกสาร ณ เดือนพฤศจิกายน 2026 ระบุดังนี้:
- Anthropic: รองรับ หน้าช่วยเหลือระบุว่ารองรับส่วนขยายที่ไม่เป็นมาตรฐาน
Crawl-delayเพื่อจำกัดการรวบรวมข้อมูล โดยมีตัวอย่างCrawl-delay: 1ในกลุ่มClaudeBot - Microsoft Bing: รองรับ บล็อก webmaster ของ Bing อธิบายค่านี้ว่าเป็นช่วงเวลา 1 ถึง 30 วินาทีที่
bingbotรวบรวมได้ไม่เกินหนึ่งหน้า และระบุว่า crawl delay ใน robots.txt มีผลเหนือการตั้งค่าการรวบรวมใน Bing Webmaster Tools - Google: ไม่รองรับ เอกสาร robots.txt ของ Google ระบุ
crawl-delayเป็นฟิลด์ที่ไม่รองรับ - OpenAI และ Perplexity: หน้า crawler ของทั้งสองไม่ได้พูดถึง ผลต่อ
GPTBot,OAI-SearchBotหรือPerplexityBotจึงไม่มีเอกสารระบุ
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ ระวังตรรกะของกลุ่ม crawler ที่พบกลุ่มที่มีชื่อของตัวเองจะไม่สนใจกลุ่ม User-agent: * เลย กลุ่ม ClaudeBot ที่มีแค่ Crawl-delay จึงทิ้ง Disallow ทุกบรรทัดที่คุณตั้งไว้ให้ทุกคน ให้ใส่ซ้ำแบบตัวอย่างข้างต้น Bing อธิบาย Crawl-delay ว่าเป็นข้อยกเว้นที่อ่านจากกลุ่มใดก็ได้ แต่ไม่ควรสันนิษฐานแบบนั้นกับ crawler อื่น
การตอบ 429 และ 503 ชะลอ crawler อย่างไร
สำหรับช่วงโหลดสูง รหัสสถานะคือสัญญาณที่ crawler ถูกสร้างมาให้เคารพ 429 Too Many Requests ซึ่งนิยามใน RFC 6585 หมายความว่าไคลเอนต์ส่งคำขอมากเกินไปในเวลาที่กำหนด และอาจมีเฮดเดอร์ Retry-After บอกว่าต้องรอนานเท่าไร 503 Service Unavailable บอกว่าเซิร์ฟเวอร์รับไม่ไหวในตอนนี้
Google ระบุว่านี่คือวิธีลดอัตราการรวบรวมของ Googlebot อย่างรวดเร็ว: ตอบคำขอบางส่วนด้วย 500, 503 หรือ 429 แทน 200 Google ระบุว่าวิธีนี้ลดอัตราการรวบรวมของทั้ง hostname และ Retry-After ใส่ได้ทั้งจำนวนวินาทีหรือวันที่
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. ทำแค่ช่วงสั้น ๆ Google แนะนำไม่ให้ทำนานเกินหนึ่งหรือสองวัน เพราะ URL ที่ตอบรหัสเหล่านี้หลายวันอาจถูกนำออกจากดัชนี หากต้องการลดแบบถาวร Google มีคำขอพิเศษผ่าน Search Console แทน
OpenAI, Anthropic และ Perplexity ไม่ได้ระบุว่า crawler ของตนตอบสนองต่อ 429, 503 หรือ Retry-After อย่างไร รหัสเหล่านี้เป็นวิธีมาตรฐานในการขอให้ลดลง แต่ AI crawler แต่ละตัวถอยเร็วแค่ไหนเป็นสิ่งที่คุณหาข้อมูลไม่ได้
จะตั้งการจำกัดอัตราสำหรับ AI crawler อย่างไร
ให้ crawler แต่ละตัวมีโควตาของตัวเองแทนขีดจำกัดเดียวสำหรับทราฟฟิกทั้งหมด และตอบคำขอที่เกินด้วย 429 ใน nginx โมดูล limit_req ทำสิ่งนี้ได้ คำขอที่คีย์ว่างจะไม่ถูกนับ map ที่คืนคีย์เฉพาะ user agent ของ crawler จึงไม่กระทบผู้เข้าชมที่เป็นคน ตัวอย่างนี้ให้ crawler แต่ละตัว 60 คำขอต่อนาที พร้อม burst 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} คีย์ในที่นี้คือ user agent ใครก็ตามที่คัดลอกชื่อ crawler จะใช้โควตาร่วมกับ crawler นั้น ซึ่งยอมรับได้สำหรับการจำกัดอัตรา แต่สำหรับกฎอนุญาต ให้จับคู่กับช่วง IP ที่ผู้ให้บริการเผยแพร่ด้วย
บน Cloudflare นั้น rate limiting rules ทำงานเดียวกันที่ edge แพ็กเกจ Free ได้หนึ่งกฎ นับต่อ IP ในช่วง 10 วินาที และนิพจน์ของกฎใช้พาธและฟิลด์ Verified Bot ได้ การนับต่อ IP ค่อนข้างหยาบสำหรับ crawler ที่กระจายคำขอไปหลายที่อยู่ แพ็กเกจที่สูงกว่ามีตัวเลือกการนับเพิ่ม การตอบกลับเริ่มต้นคือ 429 และคุณตั้งรหัส 4xx อื่นและเนื้อหาแบบกำหนดเองได้ AI Crawl Control มี Allow, Block และใน private beta มี Charge สำหรับแต่ละ crawler แต่ไม่มีการตั้งอัตรา
ไม่ว่าใช้อะไร ให้กัน /robots.txt ออกจากขีดจำกัด RFC 9309 ระบุว่าข้อผิดพลาดของเซิร์ฟเวอร์สำหรับ robots.txt หมายความว่า crawler ต้องถือว่าห้ามทั้งเว็บไซต์ และ Google ไม่นับ 429 อยู่ในรหัส 4xx ที่ถือว่าไม่มีไฟล์
แคชช่วยลดโหลดจาก crawler ได้ไหม
บ่อยครั้งได้มากกว่าการจำกัดอัตรา crawler ส่วนใหญ่ขอหน้าสาธารณะที่เหมือนกันสำหรับผู้เข้าชมทุกคน การส่งหน้าเหล่านี้จาก CDN หรือแคชหน้าเว็บจึงเปลี่ยนการเรนเดอร์ที่แพงให้เป็นการดึงจากแคชที่ถูก ตรวจว่าแคชไม่ได้แยกเวอร์ชันที่ไม่แคชไว้สำหรับ user agent ของ crawler
คำขอแบบมีเงื่อนไขก็ช่วยได้ Google ระบุว่า crawler ของตนรองรับ HTTP caching ด้วย ETag และ If-None-Match และด้วย Last-Modified และ If-Modified-Since และใช้ ETag เมื่อมีทั้งคู่ หน้า crawler ของ OpenAI, Anthropic และ Perplexity ไม่ได้บอกว่า crawler ของตนส่งคำขอแบบมีเงื่อนไขหรือไม่ จึงนับการประหยัดนี้ได้เฉพาะกับ Google
สิ่งที่ควรหลีกเลี่ยงเมื่อชะลอ crawler มีอะไรบ้าง
- บล็อกช่วง IP ของผู้ให้บริการที่ไฟร์วอลล์ Anthropic เตือนว่าวิธีนี้อาจทำงานไม่ถูกต้องหรือรักษาการ opt-out ไว้ไม่ได้ เพราะทำให้บอทของตนอ่าน robots.txt ของคุณไม่ได้
- ตอบ
5xxหรือ429ติดต่อกันหลายวัน Google ระบุว่า URL ที่ตอบแบบนี้ต่อเนื่องอาจถูกนำออกจากดัชนี - ใช้ระบบป้องกันบอทเป็นตัวหน่วง Bot Fight Mode ของ Cloudflare ออกการตรวจสอบที่ใช้การคำนวณสูงให้บอท และยกเว้นด้วย WAF custom rules ไม่ได้ คุณจึงยกเว้น crawler ที่ต้องการเก็บไว้ไม่ได้
- disallow crawler สำหรับการค้นหาเพื่อประหยัดแบนด์วิดท์
DisallowสำหรับOAI-SearchBot,Claude-SearchBotหรือPerplexityBotทำให้คุณหลุดจากคำตอบที่ crawler เหล่านั้นป้อนข้อมูลให้
จะตรวจได้อย่างไรว่า crawler ยังผ่านเข้ามาได้
การจำกัดอัตราตั้งให้เข้มเกินไปได้ง่าย การตรวจฟรีของ AISeeWhy ดึงหน้าในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณแยกตาม crawler และจดจำหน้าตรวจสอบของไฟร์วอลล์ กฎที่ตอบ crawler ต่างจากเบราว์เซอร์จึงปรากฏให้เห็น หนึ่งคำขอต่อ crawler จะไม่ชนขีดจำกัดที่สมเหตุสมผล ซึ่งเป็นจุดประสงค์: รันหลังเปลี่ยนกฎเพื่อยืนยันว่าคำขอปกติยังผ่านได้ เครื่องมือตรวจ IP ของ AI crawler ฟรีบอกว่า IP จากล็อกของคุณเป็นของ GPTBot หรือ crawler ตัวอื่นจริงหรือไม่
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ตรวจ IP ของ AI crawler
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
คำถามที่พบบ่อย
Google รองรับ Crawl-delay ไหม
ไม่ เอกสาร robots.txt ของ Google ระบุ crawl-delay ไว้ในฟิลด์ที่ไม่รองรับ หากต้องการชะลอ Googlebot ช่วงสั้น ๆ ให้ตอบคำขอบางส่วนด้วย 503, 500 หรือ 429 สำหรับการลดระยะยาว Google มีคำขอพิเศษผ่าน Search Console
ClaudeBot เคารพ Crawl-delay ไหม
Anthropic ระบุว่ารองรับส่วนขยายที่ไม่เป็นมาตรฐาน Crawl-delay ใส่ไว้ในกลุ่ม ClaudeBot และใส่กฎ Disallow จากกลุ่ม User-agent: * ซ้ำไว้ที่นั่น
GPTBot และ PerplexityBot รองรับ Crawl-delay ไหม
หน้า crawler ของ OpenAI และ Perplexity ไม่ได้พูดถึง Crawl-delay ผลของมันจึงไม่มีเอกสารระบุ ใช้การจำกัดฝั่งเซิร์ฟเวอร์ที่ตอบคำขอส่วนเกินด้วย 429
การตอบ 429 จะทำให้อันดับของฉันแย่ลงไหม
ไม่ ถ้าเป็นช่วงสั้น ๆ Google ระบุ 429 และ 503 เป็นวิธีลดการรวบรวมข้อมูลชั่วคราว แต่เตือนว่า URL ที่ตอบรหัสเหล่านี้หลายวันอาจถูกนำออกจากดัชนี
ควรบล็อก GPTBot เพื่อลดโหลดไหม
ทำได้ OpenAI ระบุว่า GPTBot รวบรวมเนื้อหาที่อาจใช้เทรน และการตั้งค่า robots.txt แต่ละตัวเป็นอิสระต่อกัน การ disallow จึงไม่ทำให้คุณหลุดจากการค้นหาของ ChatGPT ซึ่งใช้ OAI-SearchBot ตรวจล็อกก่อนเพื่อให้แน่ใจว่าโหลดมาจากที่อยู่ของ OpenAI จริง
แหล่งอ้างอิง
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers