Вижда ли ChatGPT сайта ми? Как да проверите
Поставете страницата си и вижте за около 30 секунди дали ботовете на ChatGPT могат да стигнат до нея, да я прочетат и да я цитират, и какво да промените, ако не могат.
Безплатно · Без регистрация · Резултат за 30 секунди
robots.txt, бот по бот
OAI-SearchBot, ChatGPT-User и GPTBot се четат поотделно по правилата на RFC 9309, така че виждате кой е разрешен и кой ред решава.
Блокиране от защитна стена и CDN
Страницата ви се заявява като 14 бота и като обикновен браузър. 403, 429 или страница за проверка, които получават само ботовете, се отбелязват, а защитната стена зад тях се назовава.
Какво наистина получава ботът
Статусът, размерът и пренасочванията за всеки бот се сравняват с това, което получава браузърът, така че страница, която отговаря на ботовете с по-малко, отколкото дава на хората, си личи.
Поправка за всяка находка
Към всяка находка има промяна, която трябва да направите. Безплатната проверка показва резултата ви и първата находка; пълният доклад струва $29, еднократно.
ChatGPT може да цитира страницата ви само ако ботът за търсене на OpenAI, OAI-SearchBot, има право да я изтегли и получава същия HTML като браузъра. Проверете три неща: robots.txt не забранява OAI-SearchBot, защитната стена или CDN не му отговарят с 403 или страница за проверка, а основният текст е в първоначалния HTML. Да бъдете четими не е същото като да бъдете препоръчвани: за да видите дали ChatGPT назовава сайта ви, задайте му въпросите на купувачите си и отбележете кои сайтове цитира.
Проверете сами в 3 стъпки
- Прочетете robots.txt
Отворете
https://your-site.com/robots.txt. Нито групата заOAI-SearchBot, нито заChatGPT-User, нитоUser-agent: *трябва да забранява страницата.GPTBotима значение само за обучение. - Проверете какво получава ботът
Заявете страницата като
OAI-SearchBotили пуснете безплатната проверка. Тя трябва да отговаря с 200 и същия текст като за браузър, а не с 403 или страница за проверка. - Попитайте ChatGPT
С включено търсене го накарайте да обобщи адреса ви и да отговори на един въпрос, който задават купувачите ви, после вижте изброените източници. Ако достъпът е наред, а все пак ви няма, причината е в съдържанието.
Често задавани въпроси
Мога ли безплатно да проверя дали ChatGPT вижда сайта ми?
Да. Прочитането на robots.txt, заявка с curl с user agent OAI-SearchBot и въпрос в ChatGPT не струват нищо. Безплатната проверка на AISeeWhy пуска тестовете с ботове за една страница на ден без профил.
Как да проверя дали ChatGPT препоръчва сайта ми?
Задайте на ChatGPT, с включено търсене, въпросите, които задават купувачите ви, и отбележете дали назовава сайта ви или дава връзка към него и кои конкуренти назовава вместо вас. Отговорите се различават при отделните изпълнения, затова повтаряйте всеки въпрос и проверявайте отново в продължение на няколко седмици. Проверката на AI видимостта в AISeeWhy задава въпросите ви през ChatGPT, Claude, Perplexity и Gemini с вашите собствени API ключове и проследява споменаванията редом с до четирима конкуренти. Отговорите през API може да се различават от това, което показва приложението ChatGPT.
Защо ChatGPT не намира сайта ми?
Най-често OAI-SearchBot е забранен в robots.txt, защитна стена му отговаря с 403 или страница за проверка, или текстът се появява едва след изпълнение на JavaScript. Ако и трите неща са наред, страницата ви може просто да отговаря на въпроса по-малко директно от страниците, които ChatGPT цитира.
Изважда ли блокирането на GPTBot сайта ми от търсенето в ChatGPT?
Не. OpenAI третира настройката за всеки бот като независима. GPTBot се отнася до обучението, а OAI-SearchBot решава дали страниците могат да се показват в отговорите на търсенето в ChatGPT. Можете да забраните единия и да разрешите другия.
Спазва ли ChatGPT-User robots.txt?
OpenAI казва, че тъй като тези посещения са по инициатива на потребител, правилата в robots.txt може да не се прилагат. Ако искате да спрете тези посещения, правило в robots.txt не е надежден начин.
За колко време промяна в robots.txt стига до ChatGPT?
OpenAI казва, че след обновяване на robots.txt може да са нужни около 24 часа, докато системите ѝ се настроят за търсенето.
Достатъчно ли е страницата да е достъпна, за да бъде цитирана?
Не. Достъпът прави цитирането възможно, но не го гарантира. Това, което казва страницата, и колко ясно го казва, все така решават дали тя ще се използва в отговор.
Прочетете пълното ръководство
Много собственици на сайтове питат ChatGPT за собствения си продукт, виждат вместо това цитиран конкурент и се чудят дали ChatGPT изобщо може да достигне до сайта им. Въпросът има конкретен отговор, който може да се провери. OpenAI публикува имената на ботовете си и какво прави всеки от тях, така че можете да проверите всяко звено във веригата: правилата в robots.txt, отговора, който изпраща сървърът ви, и съдържанието на този отговор.
Проверката за 5 минути, стъпка по стъпка
- Отворете
https://your-site.com/robots.txtи се уверете, че никоя група заOAI-SearchBot,ChatGPT-UserилиUser-agent: *не забранява страницата.GPTBotима значение само за обучението. - Пуснете безплатна проверка на страницата в AISeeWhy или изпратете една заявка с user agent
OAI-SearchBot: тя трябва да получи статус 200 и същия текст, който получава браузър, а не 403 или страница за проверка. - Погледнете изходния код на страницата и потвърдете, че основният текст е в HTML, а не се добавя по-късно от JavaScript.
- Помолете ChatGPT с включено търсене да обобщи URL адреса ви и да отговори на един въпрос, който задават купувачите ви. Вижте източниците, които изброява.
Ако стъпка 1 или 2 не мине, поправете това първо: разделите по-долу показват как. Ако и четирите минат, а ChatGPT все още не ви цитира, причината е в съдържанието, а не в достъпа.
Кои ботове на OpenAI са важни за отговорите на ChatGPT?
OpenAI документира три агента, с които собствениците на сайтове обикновено се сблъскват. Те имат различни задачи и блокирането на един не блокира останалите. OpenAI посочва, че всяка настройка в robots.txt е независима.
OAI-SearchBotнамира и индексира страници за функциите за търсене на ChatGPT. OpenAI казва, че сайтовете, които са го изключили, няма да се показват в отговорите на търсенето в ChatGPT. Именно той решава дали можете да бъдете цитирани.GPTBotсъбира съдържание, което може да се използва за обучение на базовите модели на OpenAI. Забраната му казва, че съдържанието ви не трябва да се използва за обучение. Тя не ви изважда от отговорите на търсенето.ChatGPT-Userпосещава страница, когато човек помоли ChatGPT за това, например като постави връзка. OpenAI казва, че правилата в robots.txt може да не се прилагат за тези посещения по инициатива на потребителя и че този агент не се използва, за да се реши дали съдържанието се показва в търсенето.
Накратко: OAI-SearchBot управлява цитиранията, GPTBot управлява обучението, а ChatGPT-User обслужва посещенията на живо по заявка на потребител.
Как да проверя robots.txt за ChatGPT?
Отворете https://yourdomain.com/robots.txt в браузър. Потърсете група, която назовава OAI-SearchBot. Ако няма такава, ботът следва групата User-agent: *. Disallow: / в приложимата група блокира целия сайт.
Проверете също дали файлът изобщо отговаря. Според RFC 9309, ако robots.txt връща сървърна грешка (5xx) или е недостъпен, ботът трябва да приеме целия сайт за забранен. 404 не е проблем: означава, че няма правила. Адрес на robots.txt, който връща HTML страница със статус 200, е честа грешка, защото тогава ботовете не намират в него валидни правила.
Настройка, която запазва търсенето в ChatGPT и отказва обучението, изглежда така:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI казва, че след обновяване на robots.txt промените за търсенето може да влязат в сила за около 24 часа.
Може ли защитна стена да блокира ChatGPT, дори когато robots.txt го разрешава?
Да, и това е честа причина. robots.txt е молба към добронамерените ботове, а не контрол на достъпа. Защитната стена, CDN или защитата от ботове решават какво реално се връща. Ако третират AI бота като нежелан, той получава 403, 429 или страница за проверка като екрана „Just a moment...“ на Cloudflare, докато хората в браузър виждат страницата нормално.
Отвън това изглежда като сайт, отворен за всички. Само заявка, която се представя като бота, показва разликата. В този случай robots.txt казва „да“, сървърът казва „не“, и сървърът печели.
Как да тествам какво получава OAI-SearchBot?
Изпратете две заявки към същия URL – една с браузърен user agent и една с user agent на бота – и сравнете статус кода и размера. OpenAI публикува примерен user agent за всеки бот; номерът на версията в него може да се променя.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Ако браузърът получава 200 с голямо съдържание, а ботът получава 403, 429, 503 или много по-малко съдържание, защитната ви стена третира бота различно. Има едно ограничение: тестът ви идва от вашия IP адрес, а не от този на OpenAI. Защитни стени, които проверяват ботовете спрямо публикуваните IP диапазони (OpenAI ги посочва на openai.com/searchbot.json), може да пропускат истинския бот, а да блокират теста ви. Блокиране в този тест все пак ви показва как защитната стена третира user agent, а това си струва да се поправи.
Какво да направя, ако страницата се зарежда, а ChatGPT пак не казва нищо полезно?
Достъпът е само първата стъпка. Ако пристигащият HTML е празна обвивка, която по-късно се попълва от JavaScript, ботът може да получи почти никакъв текст. Разгледайте суровия HTML с curl или с функцията за преглед на изходния код в браузъра: ако основният текст не е там, ботът вероятно също не го вижда.
След това идват сигналите в съдържанието: ясен кратък отговор в началото на страницата, заглавия, които съответстват на въпросите, които хората задават, посочен издател и автор и видими дати. Те не гарантират цитиране, но правят страницата по-лесна за точно цитиране.
Как AISeeWhy проверява това?
AISeeWhy изтегля страницата ви като OAI-SearchBot, GPTBot, ChatGPT-User и още 11 бота наред с обикновен браузър, чете robots.txt по правилата на RFC 9309 и назовава защитната стена, когато тя отговаря с блокиране или проверка. Всяка находка идва с корекция за поставяне, а безплатната проверка показва оценката ви и първата находка.
Корекции за този проблем
- OAI-SearchBot е блокиран
- GPTBot получава страница заместител
- Страницата не можа да бъде изтеглена
- Страницата отговаря със статус 403
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Източници
- OpenAI: Преглед на ботовете на OpenAI
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Управление на AI ботове (AI Crawl Control)