OAI-SearchBot
OAI-SearchBot е краулерот за пребарување на OpenAI. Ги прикажува сајтовите во функциите за пребарување на ChatGPT. OpenAI вели дека сајтовите што ќе се откажат од OAI-SearchBot нема да се прикажуваат во одговорите на ChatGPT пребарувањето, иако сепак може да се појават како навигациски врски. Ако сакате ChatGPT да ги цитира вашите страници, дозволете го.
Како да се дозволи
User-agent: OAI-SearchBot
Allow: / Како да се блокира
User-agent: OAI-SearchBot
Disallow: / Што прави
OpenAI го користи OAI-SearchBot за да прикажува сајтови во резултатите од пребарување во функциите за пребарување на ChatGPT. Тој не е краулерот за обука: обуката на моделите се контролира посебно преку GPTBot.
OpenAI вели дека сајтовите што се откажале од OAI-SearchBot нема да се прикажуваат во одговорите на ChatGPT пребарувањето, иако сепак може да се појават како навигациски врски. По ажурирање на robots.txt може да поминат околу 24 часа додека системите на OpenAI се прилагодат.
Во нашата студија од 2026-11, 11.2% од популарните сајтови со robots.txt го блокираа. →
Ознака за robots.txt
OAI-SearchBot
User-agent низа
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot Како да се потврдат вистинските посети
OpenAI ги објавува IP опсезите што ги користи овој агент како JSON датотека. Споредете ја изворната IP адреса на барањето со тие опсези; барање што го именува OAI-SearchBot, а доаѓа од друга адреса, не е од OpenAI. OpenAI наведува дека бројот на верзијата во user agent-от може да се промени, па совпаѓајте ја ознаката OAI-SearchBot, а не целата низа.
Проверете дали вашиот сајт го пушта →
Краулерите на OpenAI објаснети: GPTBot, OAI-SearchBot и ChatGPT-User →