Да ли ChatGPT види мој сајт? Како да проверите

Налепите своју страницу и за око 30 секунди видите да ли ChatGPT-јеви краулери могу да јој приступе, прочитају је и citiraju, и шта да промените ако не могу.

Бесплатно · Без регистрације · Резултат за 30 секунди

robots.txt, краулер по краулер

OAI-SearchBot, ChatGPT-User и GPTBot читају се одвојено по правилима RFC 9309, па видите који је дозвољен и која линија одлучује.

Блокаде заштитног зида и CDN-а

Ваша страница се тражи као 14 краулера и као обичан прегледач. 403, 429 или страница са изазовом коју добијају само краулери је означена, а заштитни зид иза ње је именован.

Шта краулер заиста добија

Статус, величина и преусмеравања за сваки краулер упоређују се са оним што добија прегледач, па се истиче страница која краулерима даје мање него људима.

Исправка за сваки налаз

Уз сваки налаз стиже и измена коју треба направити. Бесплатна провера приказује ваш резултат и први налаз, а цео извештај кошта $29, једнократно.

Кратак одговор

ChatGPT може да цитира вашу страницу само ако OpenAI-јев краулер за претрагу, OAI-SearchBot, сме да је преузме и добија исти HTML као прегледач. Проверите три ствари: ваш robots.txt не забрањује OAI-SearchBot, ваш заштитни зид или CDN му не одговара са 403 или страницом са изазовом, а главни текст се налази у почетном HTML-у. Бити читљив није исто што и бити препоручен: да бисте видели да ли ChatGPT наводи ваш сајт, поставите му питања која постављају ваши купци и забележите које сајтове цитира.

Проверите сами у 3 корака

  1. Прочитајте свој robots.txt

    Отворите https://your-site.com/robots.txt. Ниједна група за OAI-SearchBot, ChatGPT-User или User-agent: * не сме да забрањује страницу. GPTBot је битан само за обуку.

  2. Тестирајте шта краулер добија

    Затражите страницу као OAI-SearchBot или покрените бесплатну проверу. Мора да одговори са 200 и истим текстом као прегледачу, а не са 403 или страницом са изазовом.

  3. Питајте ChatGPT

    Са укљученом претрагом замолите га да сажме ваш URL и да одговори на једно питање које постављају ваши купци, па погледајте изворе које наводи. Ако је приступ у реду, а ипак вас нема, узрок је садржај.

Честа питања

Могу ли бесплатно да проверим да ли ChatGPT види мој сајт?

Да. Читање robots.txt, curl захтев са user agent-ом OAI-SearchBot и питање у ChatGPT-у не коштају ништа. Бесплатна AISeeWhy провера покреће тестове краулера за једну страницу дневно, без налога.

Како да проверим да ли ChatGPT препоручује мој сајт?

Поставите ChatGPT-у, са укљученом претрагом, питања која постављају ваши купци и забележите да ли наводи или линкује ваш сајт и које конкуренте наводи уместо вас. Одговори се разликују од покретања до покретања, па поновите свако питање и проверавајте поново током неколико недеља. AISeeWhy провера AI видљивости покреће ваша питања кроз ChatGPT, Claude, Perplexity и Gemini са вашим сопственим API кључевима и прати помињања поред највише четири конкурента. Одговори преко API-ја могу да се разликују од онога што приказује апликација ChatGPT.

Зашто ChatGPT не може да пронађе мој сајт?

Најчешће је OAI-SearchBot забрањен у robots.txt, заштитни зид му одговара са 403 или страницом са изазовом или се текст појављује тек када се покрене JavaScript. Ако је све троје у реду, ваша страница можда једноставно одговара на питање мање директно од страница које ChatGPT цитира.

Да ли блокирање GPTBot-а уклања мој сајт из ChatGPT претраге?

Не. OpenAI свако подешавање краулера третира као независно. GPTBot се односи на обуку, док OAI-SearchBot одлучује да ли странице могу да се прикажу у одговорима ChatGPT претраге. Један можете да забраните, а други да дозволите.

Да ли ChatGPT-User поштује robots.txt?

OpenAI каже да се, пошто ове посете покреће корисник, robots.txt правила можда не примењују. Ако желите да зауставите те посете, robots.txt правило није поуздана контрола.

Колико треба да промена у robots.txt стигне до ChatGPT-а?

OpenAI каже да његовим системима може бити потребно око 24 сата од ажурирања robots.txt да се прилагоде за претрагу.

Да ли је доступност довољна да будем цитиран?

Није. Приступ омогућава цитат, али га не гарантује. Оно што страница каже и колико јасно то каже и даље одлучују да ли ће бити употребљена у одговору.

Прочитајте цео водич

Многи власници сајтова питају ChatGPT о свом производу, виде да је уместо њих цитиран конкурент и питају се да ли ChatGPT уопште може да дође до њиховог сајта. Ово питање има конкретан одговор који се може проверити. OpenAI објављује називе својих краулера и шта сваки од њих ради, па можете да проверите сваку карику у ланцу: robots.txt правила, одговор који шаље ваш сервер и садржај тог одговора.

Провера од 5 минута, корак по корак

  1. Отворите https://your-site.com/robots.txt и уверите се да ниједна група за OAI-SearchBot, ChatGPT-User или User-agent: * не забрањује страницу. GPTBot је важан само за обуку.
  2. Покрените бесплатну проверу странице на AISeeWhy или пошаљите један захтев са user agent-ом OAI-SearchBot: мора да добије статус 200 и исти текст који добија прегледач, а не 403 или страницу са изазовом.
  3. Погледајте изворни код странице и потврдите да је главни текст у HTML-у, а не да га накнадно додаје JavaScript.
  4. Замолите ChatGPT са укљученом претрагом да сажме ваш URL и одговори на једно питање које постављају ваши купци. Погледајте изворе које наводи.

Ако 1. или 2. корак не прође, прво то исправите: одељци у наставку показују како. Ако сва четири прођу, а ChatGPT вас и даље не цитира, узрок је садржај, а не приступ.

Који OpenAI краулери су важни за одговоре ChatGPT-а?

OpenAI документује три агента на која власници сајтова обично наилазе. Имају различите задатке, а блокирање једног не блокира остале. OpenAI наводи да је свако robots.txt подешавање независно.

  • OAI-SearchBot проналази и индексира странице за функције претраге у ChatGPT-у. OpenAI каже да сајтови који су га искључили неће бити приказани у одговорима ChatGPT претраге. Управо он одлучује да ли можете бити цитирани.
  • GPTBot прикупља садржај који се може користити за обуку OpenAI-јевих основних модела. Његова забрана говори да ваш садржај не треба користити за обуку. Не уклања вас из одговора претраге.
  • ChatGPT-User посећује страницу када то особа затражи од ChatGPT-а, на пример тако што налепи линк. OpenAI каже да се robots.txt правила можда не примењују на ове посете које покреће корисник и да се овај агент не користи за одлучивање да ли се садржај појављује у претрази.

Укратко: OAI-SearchBot контролише цитате, GPTBot контролише обуку, а ChatGPT-User обавља посете уживо на захтев корисника.

Како да проверим свој robots.txt за ChatGPT?

Отворите https://yourdomain.com/robots.txt у прегледачу. Потражите групу која наводи OAI-SearchBot. Ако је нема, краулер прати групу User-agent: *. Disallow: / у групи која се примењује блокира цео сајт.

Проверите и да ли фајл уопште одговара. Према RFC 9309, ако robots.txt враћа грешку сервера (5xx) или није доступан, краулер мора да претпостави да је цео сајт забрањен. 404 је у реду: значи да нема правила. Адреса robots.txt која враћа HTML страницу са статусом 200 честа је грешка, јер краулери у њој онда не налазе ниједно важеће правило.

Подешавање које задржава ChatGPT претрагу и искључује обуку изгледа овако:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI каже да промене за претрагу могу да ступе на снагу око 24 сата након што ажурирате robots.txt.

Може ли заштитни зид да блокира ChatGPT чак и када га robots.txt дозвољава?

Може, и то је чест узрок. robots.txt је молба краулерима који се лепо понашају, а не контрола приступа. Ваш заштитни зид, CDN или заштита од ботова одлучују шта се заиста враћа. Ако AI краулер третирају као нежељеног бота, краулер добија 403, 429 или страницу са изазовом као што је Cloudflare-ов екран „Just a moment...“, док људи у прегледачу нормално виде страницу.

Споља ово изгледа као сајт отворен за све. Разлику показује само захтев који се представи као краулер. У том случају robots.txt каже да, сервер каже не, а сервер побеђује.

Како да тестирам шта добија OAI-SearchBot?

Пошаљите два захтева на исти URL, један са user agent-ом прегледача и један са user agent-ом краулера, и упоредите статусни код и величину. OpenAI објављује пример user agent-а за сваки краулер; број верзије у њему се може променити.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ако прегледач добије 200 са великим садржајем, а краулер 403, 429, 503 или много мањи садржај, ваш заштитни зид другачије третира краулер. Постоји једно ограничење: ваш тест долази са ваше IP адресе, а не са OpenAI-јеве. Заштитни зидови који проверавају краулере према објављеним IP опсезима (OpenAI их наводи на openai.com/searchbot.json) могу да пропусте прави краулер, а блокирају ваш тест. Блокада у овом тесту ипак вам говори како заштитни зид третира user agent, а то вреди исправити.

Шта ако се страница учитава, а ChatGPT и даље не каже ништа корисно?

Приступ је само први корак. Ако HTML који стиже представља празну љуску коју касније попуњава JavaScript, краулер може да добије скоро никакав текст. Погледајте сирови HTML помоћу curl или опције за приказ изворног кода у прегледачу: ако главни текст није ту, краулер га вероватно такође не види.

Затим долазе сигнали садржаја: јасан кратак одговор при врху странице, наслови који одговарају питањима која људи постављају, наведени издавач и аутор и видљиви датуми. Они не гарантују цитат, али олакшавају да се страница тачно цитира.

Како AISeeWhy ово проверава?

AISeeWhy преузима вашу страницу као OAI-SearchBot, GPTBot, ChatGPT-User и још 11 краулера упоредо са обичним прегледачем, чита ваш robots.txt према правилима RFC 9309 и именује заштитни зид када одговори блокадом или изазовом. Сваки налаз долази са исправком за лепљење, а бесплатна провера приказује вашу оцену и први налаз.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Извори

Још чланака

Објављено · Ажурирано