ChatGPT сайтымды көре ме? Қалай тексеруге болады

Бетіңізді енгізіп, ChatGPT краулерлері оған жете ала ма, оқи ала ма және сілтеме бере ала ма, егер болмаса не өзгерту керек екенін шамамен 30 секундта біліңіз.

Тегін · Тіркелусіз · Нәтиже 30 секундта

robots.txt, краулер бойынша

OAI-SearchBot, ChatGPT-User және GPTBot RFC 9309 ережелерімен бөлек оқылады, сондықтан қайсысына рұқсат екенін және қай жол шешетінін көресіз.

Файрвол мен CDN бұғаттаулары

Бетіңіз 14 краулер ретінде және қарапайым браузер ретінде сұралады. Тек краулерлерге берілетін 403, 429 немесе тексеру беті белгіленеді, оның артындағы файрвол аталады.

Краулер шын мәнінде не алады

Әр краулерге берілетін статус, көлем және редиректер браузер алатынмен салыстырылады, сондықтан адамдарға берілгеннен азын краулерлерге беретін бет бірден көрінеді.

Әр нәтижеге түзету

Әр нәтижеге енгізілетін өзгеріс беріледі. Тегін тексеру ұпайыңызды және бірінші нәтижені көрсетеді; толық есеп — $29, бір реттік төлем.

Қысқа жауап

ChatGPT бетіңізге OpenAI іздеу краулері OAI-SearchBot оны ала алса және браузер алатын HTML-ді алса ғана сілтеме бере алады. Үш нәрсені тексеріңіз: robots.txt OAI-SearchBot краулеріне тыйым салмайды, файрвол немесе CDN оған 403 немесе тексеру бетімен жауап бермейді, ал негізгі мәтін бастапқы HTML-де бар. Оқылу ұсынылумен бірдей емес: ChatGPT сайтыңызды атай ма, соны білу үшін оған сатып алушыларыңыз қоятын сұрақтарды қойып, ол қай сайттарға сілтеме беретінін жазыңыз.

Өзіңіз тексеріңіз: 3 қадам

  1. robots.txt оқыңыз

    https://your-site.com/robots.txt ашыңыз. OAI-SearchBot, ChatGPT-User немесе User-agent: * үшін ешбір топ бетке тыйым салмауы керек. GPTBot тек оқытуға қатысты.

  2. Краулер не алатынын тексеріңіз

    Бетті OAI-SearchBot ретінде сұраңыз немесе тегін тексеруді іске қосыңыз. Ол 403 немесе тексеру бетін емес, браузер алатын мәтінмен 200 қайтаруы керек.

  3. ChatGPT-тен сұраңыз

    Іздеу қосулы кезде URL-ді қысқаша мазмұндауын және сатып алушыларыңыз қоятын бір сұраққа жауап беруін сұраңыз, сосын көрсеткен дереккөздерін қараңыз. Қолжетімділік дұрыс болып, бәрібір көрінбесеңіз, себеп мазмұнда.

Жиі қойылатын сұрақтар

ChatGPT сайтымды көре ме, соны тегін тексере аламын ба?

Иә. robots.txt файлыңызды оқу, OAI-SearchBot user agent-імен curl сұрауы және ChatGPT-дегі сұрақ тегін. AISeeWhy-дің тегін тексеруі краулер тесттерін аккаунтсыз, күніне бір бет үшін іске қосады.

ChatGPT сайтымды ұсына ма, қалай тексеремін?

ChatGPT-ге іздеуді қосып, сатып алушыларыңыз қоятын сұрақтарды қойыңыз да, ол сайтыңызды атай ма не оған сілтеме бере ме және оның орнына қай бәсекелестерді атайтынын жазыңыз. Жауаптар әр іске қосуда өзгеріп отырады, сондықтан әр сұрақты қайталап, бірнеше апта бойы қайта тексеріңіз. AISeeWhy-дің ЖИ-дегі көрінім тексеруі сұрақтарыңызды сіздің өз API кілттеріңізбен ChatGPT, Claude, Perplexity және Gemini арқылы іске қосады және аталуларды төрт бәсекелеске дейін қатар бақылайды. API арқылы алынған жауаптар ChatGPT қолданбасы көрсететіннен өзгеше болуы мүмкін.

Неге ChatGPT сайтымды таба алмайды?

Көбіне OAI-SearchBot агентіне robots.txt-те тыйым салынған, файрвол оған 403 немесе тексеру бетімен жауап береді, не мәтін тек JavaScript іске қосылғаннан кейін пайда болады. Үшеуі де дұрыс болса, бетіңіз сұраққа ChatGPT сілтеме беретін беттерден гөрі жай ғана тікелей емес жауап беруі мүмкін.

GPTBot-ты бұғаттау сайтымды ChatGPT іздеуінен алып тастай ма?

Жоқ. OpenAI әр краулер баптауын тәуелсіз деп санайды. GPTBot оқытуға қатысты, ал беттердің ChatGPT іздеу жауаптарында көрсетілуін OAI-SearchBot шешеді. Біреуіне тыйым салып, екіншісін өткізе аласыз.

ChatGPT-User robots.txt-ті сақтай ма?

OpenAI бұл кірулерді пайдаланушы бастайтындықтан, robots.txt ережелері қолданылмауы мүмкін дейді. Мұндай кірулерді тоқтатқыңыз келсе, robots.txt ережесі сенімді құрал емес.

robots.txt өзгерісі ChatGPT-ге қанша уақытта жетеді?

OpenAI robots.txt жаңартылғаннан кейін оның жүйелері іздеу үшін бейімделуіне шамамен 24 сағат кетуі мүмкін дейді.

Сілтеме алу үшін қолжетімді болу жеткілікті ме?

Жоқ. Қолжетімділік сілтемені мүмкін етеді, бірақ оған кепілдік бермейді. Беттің не айтатыны және оны қаншалықты анық айтатыны оның жауапта пайдаланылатынын бәрібір шешеді.

Толық нұсқаулықты оқу

Көп сайт иелері ChatGPT-ден өз өнімі туралы сұрап, оның орнына бәсекелеске сілтеме берілгенін көреді де, ChatGPT сайтқа мүлде жете ала ма деп ойлайды. Бұл сұрақтың нақты, тексерілетін жауабы бар. OpenAI өз краулерлерінің атауларын және әрқайсысы не істейтінін жариялайды, сондықтан тізбектің әр буынын тексере аласыз: robots.txt ережелері, серверіңіз жіберетін жауап және сол жауаптағы мазмұн.

5 минуттық тексеру, қадам бойынша

  1. https://your-site.com/robots.txt файлын ашып, OAI-SearchBot, ChatGPT-User немесе User-agent: * үшін ешбір топ бетке тыйым салмайтынына көз жеткізіңіз. GPTBot тек оқыту үшін маңызды.
  2. AISeeWhy-да беттің тегін тексеруін іске қосыңыз немесе OAI-SearchBot user agent-імен бір сұрау жіберіңіз: ол 403 немесе тексеру бетін емес, 200 мәртебесін және браузер алатын мәтінді алуы керек.
  3. Беттің бастапқы кодын ашып, негізгі мәтін кейін JavaScript арқылы қосылмай, HTML-де тұрғанын растаңыз.
  4. Іздеу қосулы ChatGPT-ден URL-іңізді қысқаша мазмұндап, сатып алушыларыңыз қоятын бір сұраққа жауап беруін сұраңыз. Ол көрсеткен дереккөздерді қараңыз.

1-қадам немесе 2-қадам өтпесе, алдымен соны түзетіңіз: төмендегі бөлімдер қалай істеу керегін көрсетеді. Төрт қадамның бәрі өтіп, ChatGPT бәрібір сізге сілтеме бермесе, себеп қолжетімділікте емес, мазмұнда.

ChatGPT жауаптары үшін OpenAI-дың қай краулерлері маңызды?

OpenAI сайт иелері әдетте кездестіретін үш агентті құжаттайды. Олардың міндеттері әртүрлі, біреуін бұғаттау басқаларын бұғаттамайды. OpenAI robots.txt-тегі әр баптау тәуелсіз екенін айтады.

  • OAI-SearchBot ChatGPT іздеу функциялары үшін беттерді тауып, индекстейді. OpenAI одан бас тартқан сайттар ChatGPT іздеу жауаптарында көрсетілмейтінін айтады. Сізге сілтеме беріле ме, жоқ па — соны осы агент шешеді.
  • GPTBot OpenAI базалық модельдерін оқытуға пайдаланылуы мүмкін мазмұнды жинайды. Оған тыйым салу мазмұныңызды оқытуға пайдаланбау керектігін білдіреді. Ол сізді іздеу жауаптарынан алып тастамайды.
  • ChatGPT-User адам ChatGPT-ден сұрағанда, мысалы сілтемені қойғанда, бетке кіреді. OpenAI пайдаланушы бастаған мұндай кірулерге robots.txt ережелері қолданылмауы мүмкін екенін және бұл агент мазмұнның іздеуде көрінуін анықтау үшін пайдаланылмайтынын айтады.

Қысқаша айтқанда: OAI-SearchBot сілтемелерді, GPTBot оқытуды басқарады, ал ChatGPT-User пайдаланушы сұрауы бойынша тікелей кірулерді өңдейді.

robots.txt-ті ChatGPT үшін қалай тексеруге болады?

Браузерде https://yourdomain.com/robots.txt ашыңыз. OAI-SearchBot аталған топты іздеңіз. Ондай топ болмаса, краулер User-agent: * тобын орындайды. Қолданылатын топтағы Disallow: / бүкіл сайтты бұғаттайды.

Файлдың мүлде жауап беретінін де тексеріңіз. RFC 9309 бойынша robots.txt сервер қатесін (5xx) қайтарса немесе қолжетімсіз болса, краулер бүкіл сайтқа тыйым салынған деп санауы керек. 404 қалыпты: бұл ережелер жоқ дегенді білдіреді. 200 статусымен HTML бетін қайтаратын robots.txt мекенжайы — жиі қате, себебі краулерлер онда жарамды ережелер таппайды.

ChatGPT іздеуін сақтап, оқытудан бас тартатын баптау мынадай болады:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI robots.txt жаңартқаннан кейін іздеуге қатысты өзгерістердің күшіне енуіне шамамен 24 сағат кетуі мүмкін дейді.

robots.txt рұқсат етсе де, файрвол ChatGPT-ді бұғаттай ма?

Иә, және бұл — жиі себеп. robots.txt — қолжетімділікті басқару емес, тәртіпті краулерлерге өтініш қана. Шын мәнінде не жіберілетінін файрвол, CDN немесе бот қорғанысы шешеді. Егер ол ЖИ краулерін қажетсіз бот деп санаса, краулер 403, 429 немесе Cloudflare-дің "Just a moment..." экраны сияқты тексеру бетін алады, ал браузердегі адамдар бетті қалыпты көреді.

Сырттан қарағанда бұл бәріне ашық сайт сияқты көрінеді. Айырмашылықты тек өзін краулер ретінде таныстыратын сұрау ғана көрсетеді. Бұл жағдайда robots.txt «иә» дейді, сервер «жоқ» дейді, және сервер жеңеді.

OAI-SearchBot не алатынын қалай тексеруге болады?

Бір URL-ға екі сұрау жіберіңіз: біреуі браузер user agent-імен, екіншісі краулер user agent-імен, сосын статус коды мен көлемді салыстырыңыз. OpenAI әр краулер үшін user agent мысалын жариялайды; ондағы нұсқа нөмірі өзгеруі мүмкін.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Браузер үлкен денесі бар 200 алса, ал краулер 403, 429, 503 немесе әлдеқайда кіші дене алса, файрволыңыз краулерге басқаша қарайды. Бір шектеу бар: тестіңіз OpenAI-дың емес, өз IP мекенжайыңыздан жіберіледі. Краулерлерді жарияланған IP ауқымдары бойынша растайтын файрволдар (OpenAI оларды openai.com/searchbot.json мекенжайында көрсетеді) тестіңізді бұғаттап, нақты краулерді өткізуі мүмкін. Бұл тесттегі бұғаттау бәрібір файрволдың user agent-ке қалай қарайтынын көрсетеді, және оны түзеткен жөн.

Бет жүктелсе де, ChatGPT пайдалы ештеңе айтпаса ше?

Қолжетімділік — бірінші қадам ғана. Келетін HTML кейін JavaScript толтыратын бос қабық болса, краулер мәтінді мүлде дерлік алмауы мүмкін. Шикі HTML-ді curl немесе браузердің view-source арқылы қараңыз: негізгі мәтін онда болмаса, краулер де оны көрмейтін шығар.

Одан кейін мазмұн сигналдары келеді: беттің жоғарғы жағындағы анық қысқа жауап, адамдар қоятын сұрақтарға сай тақырыптар, аталған жариялаушы мен автор және көрінетін күндер. Олар сілтемеге кепілдік бермейді, бірақ бетті дұрыс дәйексөз ретінде келтіруді жеңілдетеді.

AISeeWhy мұны қалай тексереді?

AISeeWhy бетіңізді қалыпты браузермен қатар OAI-SearchBot, GPTBot, ChatGPT-User және тағы 11 краулер ретінде алады, robots.txt файлыңызды RFC 9309 ережелері бойынша оқиды және файрвол бұғаттаумен немесе тексерумен жауап берсе, оны атайды. Әр мәселеге қоюға дайын түзету беріледі, ал тегін тексеру бағаңызды және бірінші мәселені көрсетеді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Дереккөздер

Басқа мақалалар

Жарияланды · Жаңартылды