Дали ChatGPT го гледа мојот веб-сајт? Како да проверите
Залепете ја страницата и видете за околу 30 секунди дали краулерите на ChatGPT можат да стигнат до неа, да ја прочитаат и да ја цитираат, и што да промените ако не можат.
Бесплатно · Без регистрација · Резултат за 30 секунди
robots.txt, краулер по краулер
OAI-SearchBot, ChatGPT-User и GPTBot се читаат одделно според правилата од RFC 9309, па гледате кој е дозволен и која линија одлучува.
Блокирања од заштитен ѕид и CDN
Вашата страница се бара како 14 краулери и како обичен прелистувач. 403, 429 или страница со предизвик што ја добиваат само краулерите се означува, а заштитниот ѕид зад тоа се именува.
Што навистина добива краулерот
Статусот, големината и пренасочувањата за секој краулер се споредуваат со она што го добива прелистувачот, па страница што на краулерите им дава помалку отколку на луѓето се издвојува.
Поправка за секој наод
Секој наод доаѓа со промената што треба да се направи. Бесплатната проверка ви го прикажува резултатот и првиот наод; целосниот извештај чини $29, еднократно.
ChatGPT може да ја цитира вашата страница само ако краулерот за пребарување на OpenAI, OAI-SearchBot, смее да ја преземе и го добива истиот HTML како прелистувачот. Проверете три работи: вашиот robots.txt не го забранува OAI-SearchBot, вашиот заштитен ѕид или CDN не му одговара со 403 или страница со предизвик, а главниот текст е во почетниот HTML. Да бидете читливи не значи да бидете препорачани: за да видите дали ChatGPT го именува вашиот сајт, поставете му ги прашањата што ги поставуваат вашите купувачи и забележете кои сајтови ги цитира.
Проверете сами во 3 чекори
- Прочитајте го вашиот robots.txt
Отворете
https://your-site.com/robots.txt. Ниту една група заOAI-SearchBot,ChatGPT-UserилиUser-agent: *не треба да ја забранува страницата.GPTBotе важен само за обука. - Тестирајте што добива краулерот
Побарајте ја страницата како
OAI-SearchBotили направете ја бесплатната проверка. Мора да одговори со 200 и истиот текст што го добива прелистувачот, а не со 403 или страница со предизвик. - Прашајте го ChatGPT
Со вклучено пребарување, побарајте да ја сумира вашата URL-адреса и да одговори на едно прашање што го поставуваат вашите купувачи, па погледнете ги изворите што ги наведува. Ако пристапот е во ред, а сепак ве нема, причината е содржината.
Често поставувани прашања
Можам ли бесплатно да проверам дали ChatGPT го гледа мојот сајт?
Да. Читањето на вашиот robots.txt, барање со curl со user agent OAI-SearchBot и прашање во ChatGPT не чинат ништо. Бесплатната проверка на AISeeWhy ги извршува тестовите со краулери за една страница дневно, без сметка.
Како да проверам дали ChatGPT го препорачува мојот сајт?
Поставете му ги на ChatGPT, со вклучено пребарување, прашањата што ги поставуваат вашите купувачи и забележете дали го именува вашиот сајт или поставува врска до него и кои конкуренти ги именува наместо вас. Одговорите се разликуваат меѓу обидите, па повторете го секое прашање и проверувајте повторно во текот на неколку недели. Проверката „Видливост во AI“ на AISeeWhy ги поставува вашите прашања преку ChatGPT, Claude, Perplexity и Gemini со вашите сопствени API клучеви и ги следи спомнувањата покрај најмногу четири конкуренти. Одговорите преку API може да се разликуваат од она што го прикажува апликацијата ChatGPT.
Зошто ChatGPT не може да го најде мојот сајт?
Најчесто OAI-SearchBot е забранет во robots.txt, заштитен ѕид му одговара со 403 или страница со предизвик, или текстот се појавува дури откако ќе се изврши JavaScript. Ако сите три се во ред, вашата страница можеби едноставно одговара на прашањето помалку директно од страниците што ChatGPT ги цитира.
Дали блокирањето на GPTBot го отстранува мојот сајт од пребарувањето во ChatGPT?
Не. OpenAI ја третира поставката за секој краулер како независна. GPTBot се однесува на обуката, а OAI-SearchBot одлучува дали страниците може да се прикажат во одговорите од пребарување на ChatGPT. Можете едниот да го забраните, а другиот да го дозволите.
Дали ChatGPT-User го почитува robots.txt?
OpenAI наведува дека, бидејќи овие посети ги започнува корисник, правилата во robots.txt можеби не важат. Ако сакате да ги запрете тие посети, правило во robots.txt не е сигурна контрола.
Колку време треба промена во robots.txt да стигне до ChatGPT?
OpenAI наведува дека на неговите системи може да им требаат околу 24 часа од ажурирањето на robots.txt за да се прилагодат за пребарувањето.
Дали е доволно страницата да е достапна за да биде цитирана?
Не. Пристапот го овозможува цитирањето, но не го гарантира. Што кажува страницата и колку јасно го кажува сè уште одлучува дали ќе се користи во одговорот.
Прочитајте го целиот водич
Многу сопственици на сајтови го прашуваат ChatGPT за својот производ, гледаат дека наместо тоа е цитиран конкурент и се прашуваат дали ChatGPT воопшто може да стигне до нивниот сајт. Прашањето има конкретен одговор што може да се тестира. OpenAI ги објавува имињата на своите краулери и што прави секој од нив, па можете да ја проверите секоја алка во синџирот: правилата во robots.txt, одговорот што го праќа вашиот сервер и содржината во тој одговор.
Проверката за 5 минути, чекор по чекор
- Отворете
https://your-site.com/robots.txtи уверете се дека ниедна група заOAI-SearchBot,ChatGPT-UserилиUser-agent: *не ја забранува страницата.GPTBotе важен само за обуката. - Извршете бесплатна проверка на страницата на AISeeWhy или испратете едно барање со user agent
OAI-SearchBot: мора да добие статус 200 и истиот текст што го добива прелистувач, а не 403 или страница со предизвик. - Погледнете го изворниот код на страницата и потврдете дека главниот текст е во HTML, а не се додава подоцна со JavaScript.
- Побарајте од ChatGPT, со вклучено пребарување, да го сумира вашиот URL и да одговори на едно прашање што го поставуваат вашите купувачи. Погледнете ги изворите што ги наведува.
Ако чекорот 1 или 2 не помине, прво поправете го тоа: деловите подолу покажуваат како. Ако поминат сите четири, а ChatGPT сè уште не ве цитира, причината е содржината, а не пристапот.
Кои краулери на OpenAI се важни за одговорите на ChatGPT?
OpenAI документира три агенти на кои сопствениците на сајтови обично наидуваат. Тие имаат различни задачи, а блокирањето на еден не ги блокира другите. OpenAI наведува дека секоја поставка во robots.txt е независна.
OAI-SearchBotнаоѓа и индексира страници за функциите за пребарување на ChatGPT. OpenAI наведува дека сајтовите што се откажале од него нема да се прикажуваат во одговорите од пребарување на ChatGPT. Тој одлучува дали можете да бидете цитирани.GPTBotсобира содржина што може да се користи за обука на основните модели на OpenAI. Неговата забрана кажува дека вашата содржина не треба да се користи за обука. Не ве отстранува од одговорите од пребарување.ChatGPT-Userпосетува страница кога некој ќе го побара тоа од ChatGPT, на пример со лепење врска. OpenAI наведува дека правилата во robots.txt можеби не важат за овие посети што ги започнува корисникот и дека овој агент не се користи за да се одлучи дали содржината ќе се појави во пребарувањето.
Накратко: OAI-SearchBot ги контролира цитирањата, GPTBot ја контролира обуката, а ChatGPT-User се грижи за посетите во живо на барање на корисник.
Како да го проверам мојот robots.txt за ChatGPT?
Отворете https://yourdomain.com/robots.txt во прелистувач. Побарајте група што го именува OAI-SearchBot. Ако нема таква, краулерот ја следи групата User-agent: *. Disallow: / во групата што важи го блокира целиот сајт.
Проверете и дали датотеката воопшто одговара. Според RFC 9309, ако robots.txt враќа серверска грешка (5xx) или не може да се достигне, краулерот мора да претпостави дека целиот сајт е забранет. 404 е во ред: значи дека нема правила. Адреса на robots.txt што враќа HTML страница со статус 200 е честа грешка, бидејќи краулерите тогаш не наоѓаат важечки правила во неа.
Поставка што го задржува пребарувањето во ChatGPT и се откажува од обуката изгледа вака:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI наведува дека на промените за пребарувањето може да им требаат околу 24 часа да стапат на сила откако ќе го ажурирате robots.txt.
Може ли заштитен ѕид да го блокира ChatGPT дури и кога robots.txt го дозволува?
Да, и тоа е честа причина. robots.txt е барање до краулерите што се однесуваат добро, а не контрола на пристап. Вашиот заштитен ѕид, CDN или заштитата од ботови одлучува што навистина се враќа. Ако AI краулерот го третира како несакан бот, краулерот добива 403, 429 или страница со предизвик, како екранот „Just a moment...“ на Cloudflare, додека луѓето во прелистувач ја гледаат страницата нормално.
Однадвор ова изгледа како сајт отворен за сите. Само барање што се претставува како краулерот ја покажува разликата. Во тој случај robots.txt вели да, серверот вели не, и серверот победува.
Како да тестирам што добива OAI-SearchBot?
Испратете две барања до истиот URL, едно со user agent на прелистувач и едно со user agent-от на краулерот, и споредете ги статусниот код и големината. OpenAI објавува пример user agent за секој краулер; бројот на верзијата во него може да се промени.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ако прелистувачот добива 200 со големо тело, а краулерот 403, 429, 503 или многу помало тело, вашиот заштитен ѕид го третира краулерот поинаку. Важи едно ограничување: вашиот тест доаѓа од вашата IP адреса, а не од онаа на OpenAI. Заштитните ѕидови што ги потврдуваат краулерите преку објавените IP опсези (OpenAI ги наведува на openai.com/searchbot.json) може да го пуштат вистинскиот краулер, а да го блокираат вашиот тест. Блокирање во овој тест сепак ви кажува како заштитниот ѕид постапува со user agent-от, а тоа вреди да се поправи.
Што ако страницата се вчитува, а ChatGPT сепак не кажува ништо корисно?
Пристапот е само првиот чекор. Ако HTML-от што пристигнува е празна обвивка што подоцна ја пополнува JavaScript, краулерот може да добие речиси никаков текст. Погледнете го суровиот HTML со curl или со приказот на изворниот код во прелистувачот: ако главниот текст го нема таму, краулерот веројатно исто така не го гледа.
Потоа доаѓаат сигналите во содржината: јасен краток одговор при врвот на страницата, наслови што се совпаѓаат со прашањата што луѓето ги поставуваат, именуван издавач и автор и видливи датуми. Тие не гарантираат цитирање, но ја прават страницата полесна за точно цитирање.
Како AISeeWhy го проверува ова?
AISeeWhy ја презема вашата страница како OAI-SearchBot, GPTBot, ChatGPT-User и уште 11 краулери паралелно со обичен прелистувач, го чита вашиот robots.txt според правилата на RFC 9309 и го именува заштитниот ѕид кога тој одговара со блокирање или предизвик. Секој наод доаѓа со поправка за лепење, а бесплатната проверка ги прикажува вашата оцена и првиот наод.
Поправки за овој проблем
- OAI-SearchBot е блокиран
- GPTBot добива празна страница
- Страницата не може да се преземе
- Страницата одговара со статус 403
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Извори
- OpenAI: Преглед на краулерите на OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Управување со AI краулери (AI Crawl Control)