Yapay zeka tarayıcıları sitenizden gerçekte ne alıyor? 66 satırlık bir betik

Yayınlanma

Kısa cevap

Sayfanızı önce tarayıcı olarak, sonra her yapay zeka tarayıcısı olarak isteyin ve sonuçları karşılaştırın. Yalnızca tarayıcıya verilen 403, 429 ya da doğrulama sayfası veya tarayıcınınkinden çok daha küçük bir 200 yanıtı, robots.txt izin verse bile güvenlik duvarının tarayıcıyı reddettiği anlamına gelir. 66 satırlık bir Node betiği bunu yedi tarayıcı için yapar ve robots.txt dosyasını RFC 9309 kurallarına göre okur.

robots.txt, bir tarayıcının neyi çekebileceğini söyler. Güvenlik duvarınızın veya CDN'inizin gerçekte ne döndürdüğü hakkında ise hiçbir şey söylemez. Bu yazıda ikisini yan yana gösteren kısa bir betik var; böylece ikisinin nerede çeliştiğini görebilirsiniz.

Bu sayfada
  1. robots.txt neden tarayıcının ne aldığını göstermez?
  2. Betik
  3. Nasıl çalıştırılır?
  4. Çıktı neye benziyor?
  5. Tablo nasıl okunur?
  6. Betik neleri söyleyemez?
  7. Gerçek sitelerde ne görüyoruz?

robots.txt neden tarayıcının ne aldığını göstermez?

robots.txt bir rica niteliğindedir. Gerçekte ne döneceğine güvenlik duvarı, CDN veya bot koruma kuralı karar verir. Siz tarayıcıdan girdiğinizde her şey normal görünürken OAI-SearchBot ya da PerplexityBot için 403, 429 veya "Just a moment..." sayfası dönebilir.

Kontrol yöntemi, aynı adresi önce tarayıcı olarak, sonra tarayıcı botu olarak isteyip karşılaştırmaktır. Yalnızca bot için gelen 403, 429 veya 503, başlığı Just a moment... olan bir sayfa ya da tarayıcınınkinden çok daha küçük bir 200 yanıtı güvenlik duvarına işaret eder.

Betik

Betiği ai-crawler-view.mjs adıyla kaydedin. Node 18 veya üstü gerekir, paket gerekmez. robots.txt dosyasını bir kez okur, sayfanızı tarayıcı olarak çeker, ardından yedi yapay zeka tarayıcısı olarak çeker: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ve Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic tam kullanıcı aracısı (user agent) dizelerini yayımlamaz; bu yüzden iki Claude satırında yalnızca tarayıcı adı kullanılır. Bu adı eşleştiren bir güvenlik duvarı aynı şekilde tepki verir.

Nasıl çalıştırılır?

Betiği kendi sitenizin bir sayfasında çalıştırın. İsteğe bağlı --expect bayrağı, ana içeriğinizden bir cümlenin her tarayıcının aldığı ham HTML'de bulunup bulunmadığını kontrol eder. Cümle yoksa metni sayfa yüklendikten sonra betikler ekliyor demektir ve birçok tarayıcı bunu görmez.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Yalnızca sahibi olduğunuz veya test etmenize izin verilen sitelerde çalıştırın. Dokuz istek gönderir: robots.txt, tarayıcı ve her tarayıcı bot için bir istek.

Çıktı neye benziyor?

Aşağıdaki sonuç, OAI-SearchBot için doğrulama sayfası döndüren, ClaudeBot için istek sınırı uygulayan, PerplexityBot için boş bir kabuk sunan ve robots.txt içinde GPTBot'u yasaklayan, bilerek düşmanca davranan yerel bir test sunucusuna karşı alındı:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseewhy.com üzerinde her tarayıcı, tarayıcıyla aynı durum ve boyutta tam sayfayı alır.

Tablo nasıl okunur?

Betik neleri söyleyemez?

Gerçek sitelerde ne görüyoruz?

AISeeWhy bu tür bir kontrolü 14 tarayıcı için yapar. Test edebildiğimiz ABD, Birleşik Krallık ve Fransa'daki 165 işletme sitesinin %38'i (63 site), aynı adresten bir tarayıcı sayfayı alırken en az bir yapay zeka tarayıcısını sunucu düzeyinde geri çevirdi. Bu sitelerin her biri en az bir eğitim veya kazıma botunu reddetti; %10'u (16 site) ise PerplexityBot (11 site) veya OAI-SearchBot (5) gibi en az bir yapay zeka arama tarayıcısını da reddetti.

Siteler rastgele bir örneklem değildir ve 53 site daha test edilemedi, çünkü düz bir tarayıcı isteği bile reddedildi veya yanıtsız kaldı. Bunu bir sayım olarak değil, kendi sitenizde kontrol etmeye değer bir örüntü olarak ele alın.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Bunu herhangi bir sitede çalıştırmak güvenli mi?

Yalnızca sahibi olduğunuz veya test etmenize izin verilen sitelerde çalıştırın. Tarayıcı kullanıcı aracılarıyla istek gönderir; bazı bot savunmaları bunu düşmanca sayar.

robots.txt GPTBot'u yasaklıyorsa neden ok görünüyor?

robots.txt bir rica, kilit değildir. Sunucu onu yok sayan herkese yanıt verir; bu yüzden HTTP sütunu ok der. Yanındaki kural, kurallara uyan bir tarayıcının uyacağı kuralı gösterir.

Betik JavaScript çalıştırıyor mu?

Hayır, bilerek çalıştırmıyor. Sayfaları işlemeyen bir tarayıcının aldığı HTML'yi gösterir. --expect bayrağı, ana metninizin bu HTML'de zaten bulunup bulunmadığını söyler.

Temiz bir sonuç ChatGPT'nin sayfamı alıntılayacağı anlamına mı gelir?

Hayır. Erişim gereklidir ama yeterli değildir. Bir asistanın sitenizi anıp anmadığını görmek için ona alıcılarınızın sorduğu soruları sorun ve hangi siteleri alıntıladığına bakın.

Kaynaklar

Diğer makaleler