วิธีชะลอ AI crawler โดยไม่ต้องบล็อก

เผยแพร่เมื่อ

คำตอบสั้น ๆ

จำกัดอัตราแทนการบล็อก ตอบคำขอส่วนเกินของ crawler ด้วย 429 หรือ 503 พร้อมเฮดเดอร์ Retry-After ให้แต่ละ crawler มีโควตาของตัวเอง กัน /robots.txt ออกจากทุกขีดจำกัด และส่งหน้าให้ crawler จากแคช Crawl-delay ใน robots.txt ได้ผลเฉพาะเมื่อผู้ให้บริการระบุว่ารองรับ: Anthropic และ Bing รองรับ Google ระบุว่าไม่รองรับ ส่วน OpenAI และ Perplexity ไม่ได้พูดถึง ให้คงการอนุญาต AI search crawler ไว้ มิฉะนั้นคุณจะหลุดจากคำตอบที่ crawler เหล่านั้นป้อนข้อมูลให้ด้วย

เมื่อ crawler ส่งคำขอหลายพันครั้งต่อชั่วโมง ทางแก้ด่วนคือ Disallow: / หรือบล็อกที่ไฟร์วอลล์ สำหรับ crawler สำหรับการเทรน นั่นอาจเป็นทางเลือกที่สมเหตุสมผล แต่สำหรับ OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot จะเป็นการเอาหน้าของคุณออกจากคำตอบของ AI ที่คุณอยากปรากฏ ส่วนใหญ่ลดโหลดได้โดยไม่ต้องเสียสิ่งนั้น ด้วยสัญญาณที่ crawler เข้าใจอยู่แล้ว ได้แก่ รหัสสถานะ แคช และสำหรับผู้ให้บริการบางราย Crawl-delay

ในหน้านี้
  1. crawler ตัวไหนเป็นต้นเหตุของโหลดจริง ๆ
  2. Crawl-delay ใช้ได้กับ AI crawler ไหม
  3. การตอบ 429 และ 503 ชะลอ crawler อย่างไร
  4. จะตั้งการจำกัดอัตราสำหรับ AI crawler อย่างไร
  5. แคชช่วยลดโหลดจาก crawler ได้ไหม
  6. สิ่งที่ควรหลีกเลี่ยงเมื่อชะลอ crawler มีอะไรบ้าง
  7. จะตรวจได้อย่างไรว่า crawler ยังผ่านเข้ามาได้

crawler ตัวไหนเป็นต้นเหตุของโหลดจริง ๆ

ดูก่อนเปลี่ยนอะไร นับคำขอต่อ user agent และต่อชั่วโมงในล็อกการเข้าถึง และตรวจ IP ต้นทางกับช่วงที่ผู้ให้บริการแต่ละรายเผยแพร่ คู่มือของเราเรื่องการตรวจล็อกเซิร์ฟเวอร์หา AI crawler มีคำสั่งให้ มีสองสิ่งที่มักพบ:

จัดกลุ่ม crawler ตามหน้าที่ด้วย crawler สำหรับการเทรนอย่าง GPTBot และ ClaudeBot ไม่ใช่ตัวที่ทำให้คุณถูกอ้างอิงในการค้นหาด้วย AI ถ้าตัวใดตัวหนึ่งเป็นปัญหา การ disallow ก็เป็นทางเลือกที่สมเหตุสมผล เนื้อหาที่เหลือของคู่มือนี้สำหรับ crawler ที่คุณต้องการเก็บไว้

Crawl-delay ใช้ได้กับ AI crawler ไหม

Crawl-delay ไม่ได้อยู่ใน RFC 9309 ผู้ให้บริการแต่ละรายจึงตัดสินใจเองว่าจะอ่านหรือไม่ เอกสาร ณ เดือนพฤศจิกายน 2026 ระบุดังนี้:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

ระวังตรรกะของกลุ่ม crawler ที่พบกลุ่มที่มีชื่อของตัวเองจะไม่สนใจกลุ่ม User-agent: * เลย กลุ่ม ClaudeBot ที่มีแค่ Crawl-delay จึงทิ้ง Disallow ทุกบรรทัดที่คุณตั้งไว้ให้ทุกคน ให้ใส่ซ้ำแบบตัวอย่างข้างต้น Bing อธิบาย Crawl-delay ว่าเป็นข้อยกเว้นที่อ่านจากกลุ่มใดก็ได้ แต่ไม่ควรสันนิษฐานแบบนั้นกับ crawler อื่น

การตอบ 429 และ 503 ชะลอ crawler อย่างไร

สำหรับช่วงโหลดสูง รหัสสถานะคือสัญญาณที่ crawler ถูกสร้างมาให้เคารพ 429 Too Many Requests ซึ่งนิยามใน RFC 6585 หมายความว่าไคลเอนต์ส่งคำขอมากเกินไปในเวลาที่กำหนด และอาจมีเฮดเดอร์ Retry-After บอกว่าต้องรอนานเท่าไร 503 Service Unavailable บอกว่าเซิร์ฟเวอร์รับไม่ไหวในตอนนี้

Google ระบุว่านี่คือวิธีลดอัตราการรวบรวมของ Googlebot อย่างรวดเร็ว: ตอบคำขอบางส่วนด้วย 500, 503 หรือ 429 แทน 200 Google ระบุว่าวิธีนี้ลดอัตราการรวบรวมของทั้ง hostname และ Retry-After ใส่ได้ทั้งจำนวนวินาทีหรือวันที่

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

ทำแค่ช่วงสั้น ๆ Google แนะนำไม่ให้ทำนานเกินหนึ่งหรือสองวัน เพราะ URL ที่ตอบรหัสเหล่านี้หลายวันอาจถูกนำออกจากดัชนี หากต้องการลดแบบถาวร Google มีคำขอพิเศษผ่าน Search Console แทน

OpenAI, Anthropic และ Perplexity ไม่ได้ระบุว่า crawler ของตนตอบสนองต่อ 429, 503 หรือ Retry-After อย่างไร รหัสเหล่านี้เป็นวิธีมาตรฐานในการขอให้ลดลง แต่ AI crawler แต่ละตัวถอยเร็วแค่ไหนเป็นสิ่งที่คุณหาข้อมูลไม่ได้

จะตั้งการจำกัดอัตราสำหรับ AI crawler อย่างไร

ให้ crawler แต่ละตัวมีโควตาของตัวเองแทนขีดจำกัดเดียวสำหรับทราฟฟิกทั้งหมด และตอบคำขอที่เกินด้วย 429 ใน nginx โมดูล limit_req ทำสิ่งนี้ได้ คำขอที่คีย์ว่างจะไม่ถูกนับ map ที่คืนคีย์เฉพาะ user agent ของ crawler จึงไม่กระทบผู้เข้าชมที่เป็นคน ตัวอย่างนี้ให้ crawler แต่ละตัว 60 คำขอต่อนาที พร้อม burst 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

คีย์ในที่นี้คือ user agent ใครก็ตามที่คัดลอกชื่อ crawler จะใช้โควตาร่วมกับ crawler นั้น ซึ่งยอมรับได้สำหรับการจำกัดอัตรา แต่สำหรับกฎอนุญาต ให้จับคู่กับช่วง IP ที่ผู้ให้บริการเผยแพร่ด้วย

บน Cloudflare นั้น rate limiting rules ทำงานเดียวกันที่ edge แพ็กเกจ Free ได้หนึ่งกฎ นับต่อ IP ในช่วง 10 วินาที และนิพจน์ของกฎใช้พาธและฟิลด์ Verified Bot ได้ การนับต่อ IP ค่อนข้างหยาบสำหรับ crawler ที่กระจายคำขอไปหลายที่อยู่ แพ็กเกจที่สูงกว่ามีตัวเลือกการนับเพิ่ม การตอบกลับเริ่มต้นคือ 429 และคุณตั้งรหัส 4xx อื่นและเนื้อหาแบบกำหนดเองได้ AI Crawl Control มี Allow, Block และใน private beta มี Charge สำหรับแต่ละ crawler แต่ไม่มีการตั้งอัตรา

ไม่ว่าใช้อะไร ให้กัน /robots.txt ออกจากขีดจำกัด RFC 9309 ระบุว่าข้อผิดพลาดของเซิร์ฟเวอร์สำหรับ robots.txt หมายความว่า crawler ต้องถือว่าห้ามทั้งเว็บไซต์ และ Google ไม่นับ 429 อยู่ในรหัส 4xx ที่ถือว่าไม่มีไฟล์

แคชช่วยลดโหลดจาก crawler ได้ไหม

บ่อยครั้งได้มากกว่าการจำกัดอัตรา crawler ส่วนใหญ่ขอหน้าสาธารณะที่เหมือนกันสำหรับผู้เข้าชมทุกคน การส่งหน้าเหล่านี้จาก CDN หรือแคชหน้าเว็บจึงเปลี่ยนการเรนเดอร์ที่แพงให้เป็นการดึงจากแคชที่ถูก ตรวจว่าแคชไม่ได้แยกเวอร์ชันที่ไม่แคชไว้สำหรับ user agent ของ crawler

คำขอแบบมีเงื่อนไขก็ช่วยได้ Google ระบุว่า crawler ของตนรองรับ HTTP caching ด้วย ETag และ If-None-Match และด้วย Last-Modified และ If-Modified-Since และใช้ ETag เมื่อมีทั้งคู่ หน้า crawler ของ OpenAI, Anthropic และ Perplexity ไม่ได้บอกว่า crawler ของตนส่งคำขอแบบมีเงื่อนไขหรือไม่ จึงนับการประหยัดนี้ได้เฉพาะกับ Google

สิ่งที่ควรหลีกเลี่ยงเมื่อชะลอ crawler มีอะไรบ้าง

จะตรวจได้อย่างไรว่า crawler ยังผ่านเข้ามาได้

การจำกัดอัตราตั้งให้เข้มเกินไปได้ง่าย การตรวจฟรีของ AISeeWhy ดึงหน้าในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณแยกตาม crawler และจดจำหน้าตรวจสอบของไฟร์วอลล์ กฎที่ตอบ crawler ต่างจากเบราว์เซอร์จึงปรากฏให้เห็น หนึ่งคำขอต่อ crawler จะไม่ชนขีดจำกัดที่สมเหตุสมผล ซึ่งเป็นจุดประสงค์: รันหลังเปลี่ยนกฎเพื่อยืนยันว่าคำขอปกติยังผ่านได้ เครื่องมือตรวจ IP ของ AI crawler ฟรีบอกว่า IP จากล็อกของคุณเป็นของ GPTBot หรือ crawler ตัวอื่นจริงหรือไม่

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

Google รองรับ Crawl-delay ไหม

ไม่ เอกสาร robots.txt ของ Google ระบุ crawl-delay ไว้ในฟิลด์ที่ไม่รองรับ หากต้องการชะลอ Googlebot ช่วงสั้น ๆ ให้ตอบคำขอบางส่วนด้วย 503, 500 หรือ 429 สำหรับการลดระยะยาว Google มีคำขอพิเศษผ่าน Search Console

ClaudeBot เคารพ Crawl-delay ไหม

Anthropic ระบุว่ารองรับส่วนขยายที่ไม่เป็นมาตรฐาน Crawl-delay ใส่ไว้ในกลุ่ม ClaudeBot และใส่กฎ Disallow จากกลุ่ม User-agent: * ซ้ำไว้ที่นั่น

GPTBot และ PerplexityBot รองรับ Crawl-delay ไหม

หน้า crawler ของ OpenAI และ Perplexity ไม่ได้พูดถึง Crawl-delay ผลของมันจึงไม่มีเอกสารระบุ ใช้การจำกัดฝั่งเซิร์ฟเวอร์ที่ตอบคำขอส่วนเกินด้วย 429

การตอบ 429 จะทำให้อันดับของฉันแย่ลงไหม

ไม่ ถ้าเป็นช่วงสั้น ๆ Google ระบุ 429 และ 503 เป็นวิธีลดการรวบรวมข้อมูลชั่วคราว แต่เตือนว่า URL ที่ตอบรหัสเหล่านี้หลายวันอาจถูกนำออกจากดัชนี

ควรบล็อก GPTBot เพื่อลดโหลดไหม

ทำได้ OpenAI ระบุว่า GPTBot รวบรวมเนื้อหาที่อาจใช้เทรน และการตั้งค่า robots.txt แต่ละตัวเป็นอิสระต่อกัน การ disallow จึงไม่ทำให้คุณหลุดจากการค้นหาของ ChatGPT ซึ่งใช้ OAI-SearchBot ตรวจล็อกก่อนเพื่อให้แน่ใจว่าโหลดมาจากที่อยู่ของ OpenAI จริง

แหล่งอ้างอิง

บทความอื่น ๆ