DuckAssistBot
DuckAssistBot crawlt pagina's in realtime voor de AI-ondersteunde antwoorden van DuckDuckGo, die hun bronnen vermelden. DuckDuckGo zegt dat de data niet wordt gebruikt om AI-modellen te trainen. Als je hem verbiedt, ben je geen bron meer voor die antwoorden, maar je organische zoekposities bij DuckDuckGo veranderen niet.
Wat de crawler doet
DuckDuckGo zegt dat DuckAssistBot een webcrawler voor DuckDuckGo Search is die pagina's in realtime crawlt voor de AI-ondersteunde antwoorden, die hun bronnen duidelijk vermelden. Het zegt dat deze data op geen enkele manier wordt gebruikt om AI-modellen te trainen.
Uitgevers kunnen zich onttrekken als bron voor AI-ondersteunde antwoorden door DuckAssistBot in robots.txt te verbieden. DuckDuckGo zegt dat de wijziging na 72 uur ingaat en geen invloed heeft op organische zoekposities of op de vraag of een site in de zoekresultaten verschijnt.
robots.txt-token
DuckAssistBot
User-agentstring
DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)Zo sta je hem toe
User-agent: DuckAssistBot
Allow: /Zo blokkeer je hem
User-agent: DuckAssistBot
Disallow: /Zo verifieer je echte bezoeken
DuckDuckGo publiceert de volledige lijst met IP-adressen die DuckAssistBot gebruikt als JSON-bestand. Vergelijk het bron-IP van een verzoek met die lijst in plaats van de user agent te vertrouwen.