ChatGPT ድረ-ገጼን ማየት ይችላል? እንዴት እንደሚፈተሽ
ገጽዎን ያስገቡ እና የChatGPT ክሮውለሮች ሊደርሱበት፣ ሊያነቡት እና ሊጠቅሱት እንደሚችሉ በ30 ሰከንድ ውስጥ ይመልከቱ፤ ካልቻሉ ምን መቀየር እንዳለብዎ ይወቁ።
ነጻ · ምዝገባ የለም · ውጤት በ30 ሰከንድ
robots.txt፣ ክሮውለር በክሮውለር
OAI-SearchBot፣ ChatGPT-User እና GPTBot በRFC 9309 ደንቦች ለየብቻ ይነበባሉ፤ ስለዚህ የትኛው እንደተፈቀደ እና የትኛው መስመር እንደሚወስን ያያሉ።
የፋየርዎል እና CDN እገዳዎች
ገጽዎ እንደ 14 ክሮውለሮች እና እንደ መደበኛ አሳሽ ይጠየቃል። ለክሮውለሮች ብቻ የሚመጣ 403፣ 429 ወይም የchallenge ገጽ ምልክት ይደረግበታል፣ ከጀርባው ያለው ፋየርዎልም ይጠራል።
ክሮውለሩ በእርግጥ የሚቀበለው
ለእያንዳንዱ ክሮውለር የሚመለሰው ሁኔታ፣ መጠን እና ማዛወሪያዎች አሳሽ ከሚያገኘው ጋር ይወዳደራሉ፤ ስለዚህ ለሰዎች ከሚሰጠው ያነሰ ለክሮውለሮች የሚመልስ ገጽ በግልጽ ይታያል።
ለእያንዳንዱ ግኝት መፍትሔ
እያንዳንዱ ግኝት ሊያደርጉት የሚገባውን ለውጥ ይዞ ይመጣል። ነጻው ፍተሻ ውጤትዎን እና የመጀመሪያውን ግኝት ያሳያል፤ ሙሉው ሪፖርት $29 ነው፣ አንድ ጊዜ ብቻ።
ChatGPT ገጽዎን ሊጠቅስ የሚችለው የOpenAI የፍለጋ ክሮውለር OAI-SearchBot ሊያመጣው ከተፈቀደለት እና አሳሽ የሚያገኘውን ተመሳሳይ HTML ካገኘ ብቻ ነው። ሦስት ነገሮችን ይፈትሹ፦ robots.txtዎ OAI-SearchBotን አይከለክልም፣ ፋየርዎልዎ ወይም CDNዎ በ403 ወይም በchallenge ገጽ አይመልስለትም፣ ዋናው ጽሑፍም በመጀመሪያው HTML ውስጥ አለ። መነበብ ከመመከር ጋር አንድ አይደለም፦ ChatGPT ድረ-ገጽዎን ይጠቅስ እንደሆነ ለማየት ገዢዎችዎ የሚጠይቋቸውን ጥያቄዎች ይጠይቁት፣ የትኞቹን ድረ-ገጾች እንደሚጠቅስም ይመዝግቡ።
በራስዎ በ3 ደረጃዎች ይፈትሹ
- robots.txtዎን ያንብቡ
https://your-site.com/robots.txtይክፈቱ። ለOAI-SearchBot፣ ለChatGPT-Userወይም ለUser-agent: *ምንም ቡድን ገጹን መከልከል የለበትም።GPTBotለሥልጠና ብቻ ነው የሚያገባው። - ክሮውለሩ የሚያገኘውን ይሞክሩ
ገጹን እንደ
OAI-SearchBotይጠይቁ፣ ወይም ነጻውን ፍተሻ ያሂዱ። 403 ወይም የchallenge ገጽ ሳይሆን፣ አሳሽ የሚያገኘውን ተመሳሳይ ጽሑፍ ይዞ በ200 መመለስ አለበት። - ChatGPTን ይጠይቁት
ፍለጋ በርቶ ሳለ URLዎን እንዲያጠቃልል እና ገዢዎችዎ የሚጠይቁትን አንድ ጥያቄ እንዲመልስ ይጠይቁት፣ ከዚያም የዘረዘራቸውን ምንጮች ይመልከቱ። መዳረሻው ደህና ሆኖ አሁንም ካልታዩ ምክንያቱ ይዘቱ ነው።
ተደጋግመው የሚጠየቁ ጥያቄዎች
ChatGPT ድረ-ገጼን ማየት ይችል እንደሆነ በነጻ መፈተሽ እችላለሁ?
አዎ። robots.txtዎን ማንበብ፣ በOAI-SearchBot user agent የcurl ጥያቄ እና በChatGPT ውስጥ ያለ ጥያቄ ምንም አያስከፍሉም። የAISeeWhy ነጻ ፍተሻ የክሮውለር ሙከራዎችን ለአንድ ገጽ በቀን አንድ ጊዜ ያለ መለያ ያስኬዳል።
ChatGPT ድረ-ገጼን እንደሚመክር እንዴት እፈትሻለሁ?
ፍለጋ በርቶ ገዢዎችዎ የሚጠይቋቸውን ጥያቄዎች ChatGPTን ይጠይቁ፣ ድረ-ገጽዎን ይጠቅስ ወይም ያገናኝ እንደሆነ፣ በምትኩ የትኞቹን ተፎካካሪዎች እንደሚጠቅስም ይመዝግቡ። መልሶች ከሙከራ ወደ ሙከራ ይለያያሉ፣ ስለዚህ እያንዳንዱን ጥያቄ ይድገሙ፣ በበርካታ ሳምንታትም እንደገና ይፈትሹ። የAISeeWhy «በAI ውስጥ ታይነት» ፍተሻ ጥያቄዎችዎን በራስዎ API ቁልፎች በChatGPT፣ Claude፣ Perplexity እና Gemini በኩል ያስኬዳል፣ መጠቀሶችንም ከእስከ አራት ተፎካካሪዎች ጎን ይከታተላል። በAPI የሚመጡ መልሶች የChatGPT መተግበሪያ ከሚያሳየው ሊለዩ ይችላሉ።
ChatGPT ድረ-ገጼን ለምን አያገኘውም?
ብዙውን ጊዜ OAI-SearchBot በrobots.txt ተከልክሏል፣ ፋየርዎል በ403 ወይም በchallenge ገጽ ይመልስለታል፣ ወይም ጽሑፉ የሚታየው JavaScript ከተሠራ በኋላ ብቻ ነው። ሦስቱም ደህና ከሆኑ ገጽዎ ጥያቄውን ChatGPT ከሚጠቅሳቸው ገጾች ያነሰ በቀጥታ ይመልስ ይሆናል።
GPTBotን ማገድ ድረ-ገጼን ከChatGPT ፍለጋ ያስወጣዋል?
አያስወጣውም። OpenAI እያንዳንዱን የክሮውለር ቅንብር እንደ ነጻ ይመለከታል። GPTBot ከስልጠና ጋር ይያያዛል፣ OAI-SearchBot ደግሞ ገጾች በChatGPT የፍለጋ መልሶች ውስጥ ሊታዩ ይችሉ እንደሆነ ይወስናል። አንዱን ከልክለው ሌላውን መፍቀድ ይችላሉ።
ChatGPT-User robots.txtን ይከተላል?
OpenAI እነዚህ ጉብኝቶች በተጠቃሚ ስለሚጀመሩ የrobots.txt ደንቦች ላይተገበሩ እንደሚችሉ ይናገራል። እነዚያን ጉብኝቶች ማስቆም ከፈለጉ የrobots.txt ደንብ አስተማማኝ መቆጣጠሪያ አይደለም።
የrobots.txt ለውጥ ChatGPT ጋር እስኪደርስ ምን ያህል ጊዜ ይወስዳል?
OpenAI ከrobots.txt ዝማኔ በኋላ ስርዓቶቹ ለፍለጋ እስኪስተካከሉ 24 ሰዓት ገደማ ሊወስድ እንደሚችል ይናገራል።
ለመጠቀስ ሊደረስበት መቻል ብቻ በቂ ነው?
አይደለም። መዳረሻ ጥቅስን ይቻላል ያደርገዋል እንጂ አያረጋግጠውም። ገጹ የሚናገረው እና በምን ያህል ግልጽነት እንደሚናገረው አሁንም በመልስ ውስጥ ይውል እንደሆነ ይወስናል።
ሙሉውን መመሪያ ያንብቡ
ብዙ የድረ-ገጽ ባለቤቶች ChatGPTን ስለ ራሳቸው ምርት ይጠይቃሉ፣ በምትኩ ተፎካካሪ ሲጠቀስ ያያሉ፣ እና ChatGPT ድረ-ገጻቸውን ጨርሶ መድረስ ይችል እንደሆነ ይጠራጠራሉ። ጥያቄው ተጨባጭ፣ ሊፈተሽ የሚችል መልስ አለው። OpenAI የክሮውለሮቹን ስሞች እና እያንዳንዱ ምን እንደሚሠራ ያትማል፣ ስለዚህ በሰንሰለቱ ውስጥ ያለውን እያንዳንዱን ደረጃ መፈተሽ ይችላሉ፦ የrobots.txt ደንቦችን፣ አገልጋይዎ የሚልከውን ምላሽ እና በዚያ ምላሽ ውስጥ ያለውን ይዘት።
የ5 ደቂቃ ፍተሻ፣ እርምጃ በእርምጃ
https://your-site.com/robots.txtን ይክፈቱ፣ ለOAI-SearchBot፣ ለChatGPT-Userወይም ለUser-agent: *ያለ ምንም ቡድን ገጹን እንደማይከለክል ያረጋግጡ።GPTBotየሚያስፈልገው ለስልጠና ብቻ ነው።- በAISeeWhy የገጹን ነጻ ፍተሻ ያስኪዱ ወይም በ
OAI-SearchBotuser agent አንድ ጥያቄ ይላኩ፦ 403 ወይም challenge ገጽ ሳይሆን status 200 እና አሳሽ የሚያገኘውን ተመሳሳይ ጽሑፍ ማግኘት አለበት። - የገጹን ምንጭ ኮድ ይመልከቱ፣ ዋናው ጽሑፍ በኋላ በJavaScript የተጨመረ ሳይሆን በHTML ውስጥ መሆኑን ያረጋግጡ።
- ፍለጋ በርቶ ChatGPT URLዎን እንዲያጠቃልል እና ገዢዎችዎ የሚጠይቁትን አንድ ጥያቄ እንዲመልስ ይጠይቁ። የሚዘረዝራቸውን ምንጮች ይመልከቱ።
እርምጃ 1 ወይም 2 ካልተሳካ መጀመሪያ ያንን ያስተካክሉ፦ ከታች ያሉት ክፍሎች እንዴት እንደሆነ ያሳያሉ። አራቱም ቢሳኩ እና ChatGPT አሁንም ባይጠቅስዎ፣ ምክንያቱ መዳረሻ ሳይሆን ይዘቱ ነው።
ለChatGPT መልሶች የትኞቹ የOpenAI ክሮውለሮች አስፈላጊ ናቸው?
OpenAI የድረ-ገጽ ባለቤቶች ብዙ ጊዜ የሚያገኟቸውን ሦስት ወኪሎች ይገልጻል። የተለያዩ ሥራዎች አሏቸው፣ አንዱን ማገድ ሌሎቹን አያግድም። OpenAI እያንዳንዱ የrobots.txt ቅንብር ነጻ እንደሆነ ይገልጻል።
OAI-SearchBotለChatGPT የፍለጋ ባህሪያት ገጾችን ያገኛል እና index ያደርጋል። OpenAI ከእሱ የወጡ ድረ-ገጾች በChatGPT የፍለጋ መልሶች ውስጥ እንደማይታዩ ይናገራል። መጠቀስ መቻልዎን የሚወስነው ይህ ነው።GPTBotየOpenAI መሠረታዊ ሞዴሎችን ለማሰልጠን ሊውል የሚችል ይዘት ይሰበስባል። እሱን መከልከል ይዘትዎ ለስልጠና መዋል እንደሌለበት ይገልጻል። ከፍለጋ መልሶች አያስወጣዎትም።ChatGPT-Userአንድ ሰው ChatGPTን ሲጠይቅ፣ ለምሳሌ አገናኝ በመለጠፍ፣ ገጽን ይጎበኛል። OpenAI የrobots.txt ደንቦች በእነዚህ በተጠቃሚ በተጀመሩ ጉብኝቶች ላይ ላይተገበሩ እንደሚችሉ፣ እና ይህ ወኪል ይዘት በፍለጋ ውስጥ ይታይ እንደሆነ ለመወሰን እንደማይውል ይናገራል።
ስለዚህ በአጭሩ፦ OAI-SearchBot ጥቅሶችን ይቆጣጠራል፣ GPTBot ስልጠናን ይቆጣጠራል፣ ChatGPT-User ደግሞ በተጠቃሚ ጥያቄ የሚደረጉ የቀጥታ ጉብኝቶችን ያስተናግዳል።
robots.txtዬን ለChatGPT እንዴት እፈትሻለሁ?
https://yourdomain.com/robots.txtን በአሳሽ ይክፈቱ። OAI-SearchBotን የሚሰይም ቡድን ይፈልጉ። ከሌለ ክሮውለሩ የUser-agent: * ቡድንን ይከተላል። በሚተገበረው ቡድን ውስጥ ያለ Disallow: / መላውን ድረ-ገጽ ያግዳል።
ፋይሉ ጨርሶ መመለሱንም ያረጋግጡ። በRFC 9309 መሠረት robots.txt የአገልጋይ ስህተት (5xx) ከመለሰ ወይም ሊደረስበት ካልቻለ፣ ክሮውለሩ መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት። 404 ችግር የለውም፦ ምንም ደንብ የለም ማለት ነው። የHTML ገጽን በሁኔታ 200 የሚመልስ የrobots.txt አድራሻ የተለመደ ስህተት ነው፣ ምክንያቱም ክሮውለሮች ያኔ በውስጡ ምንም ትክክለኛ ደንብ አያገኙም።
የChatGPT ፍለጋን የሚያቆይ እና ከስልጠና የሚያስወጣ ማዋቀር ይህን ይመስላል፦
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI robots.txtን ካዘመኑ በኋላ ለፍለጋ የሚደረጉ ለውጦች እስኪሠሩ 24 ሰዓት ገደማ ሊወስዱ እንደሚችሉ ይናገራል።
robots.txt ቢፈቅድም ፋየርዎል ChatGPTን ሊያግድ ይችላል?
አዎ፣ ይህ የተለመደ ምክንያትም ነው። robots.txt ለጨዋ ክሮውለሮች የሚቀርብ ጥያቄ እንጂ የመዳረሻ ቁጥጥር አይደለም። በእርግጥ ምን እንደሚመለስ የሚወስነው ፋየርዎልዎ፣ CDNዎ ወይም የቦት መከላከያዎ ነው። የAI ክሮውለርን እንደ ያልተፈለገ ቦት ከቆጠረ፣ ክሮውለሩ 403፣ 429 ወይም እንደ Cloudflare "Just a moment..." ማያ ያለ የchallenge ገጽ ያገኛል፣ በአሳሽ ያሉ ሰዎች ግን ገጹን በመደበኛ ሁኔታ ያያሉ።
ከውጭ ሲታይ ይህ ለሁሉም ክፍት የሆነ ድረ-ገጽ ይመስላል። ልዩነቱን የሚያሳየው ራሱን እንደ ክሮውለሩ የሚያስተዋውቅ ጥያቄ ብቻ ነው። በዚያ ሁኔታ robots.txt አዎ ይላል፣ አገልጋዩ አይሆንም ይላል፣ የሚያሸንፈውም አገልጋዩ ነው።
OAI-SearchBot የሚያገኘውን እንዴት መሞከር እችላለሁ?
ወደ ተመሳሳዩ URL ሁለት ጥያቄዎችን ይላኩ፣ አንዱን በአሳሽ user agent ሌላውን በክሮውለሩ user agent፣ እና የሁኔታ ኮዱን እና መጠኑን ያነጻጽሩ። OpenAI ለእያንዳንዱ ክሮውለር የምሳሌ user agent ያትማል፤ በውስጡ ያለው የስሪት ቁጥር ሊለወጥ ይችላል።
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page አሳሹ ትልቅ body ያለው 200 ካገኘ እና ክሮውለሩ 403፣ 429፣ 503 ወይም በጣም ያነሰ body ካገኘ፣ ፋየርዎልዎ ክሮውለሩን በተለየ መንገድ እያስተናገደ ነው። አንድ ገደብ አለ፦ ሙከራዎ የሚመጣው ከOpenAI ሳይሆን ከራስዎ IP አድራሻ ነው። ክሮውለሮችን ከታተሙ IP ክልሎች ጋር የሚያረጋግጡ ፋየርዎሎች (OpenAI በopenai.com/searchbot.json ይዘረዝራቸዋል) ሙከራዎን እያገዱ እውነተኛውን ክሮውለር ሊያሳልፉ ይችላሉ። በዚህ ሙከራ ውስጥ ያለ እገዳ አሁንም ፋየርዎሉ user agentውን እንዴት እንደሚያስተናግድ ይነግርዎታል፣ ይህም መስተካከል ያለበት ነው።
ገጹ ቢጫንም ChatGPT ምንም ጠቃሚ ነገር ካልተናገረስ?
መዳረሻ የመጀመሪያው ደረጃ ብቻ ነው። የሚደርሰው HTML በኋላ በJavaScript የሚሞላ ባዶ shell ከሆነ፣ ክሮውለሩ ምንም ጽሑፍ ማለት ይቻላል ላያገኝ ይችላል። ጥሬውን HTML በcurl ወይም በአሳሽዎ view-source ይመልከቱ፦ ዋናው ጽሑፍ እዚያ ከሌለ ክሮውለሩም ምናልባት አያየውም።
ከዚያ በኋላ የይዘት ምልክቶች ይመጣሉ፦ በገጹ አናት አቅራቢያ ግልጽ አጭር መልስ፣ ሰዎች ከሚጠይቋቸው ጥያቄዎች ጋር የሚዛመዱ ርዕሶች፣ ስሙ የተገለጸ አሳታሚ እና ደራሲ፣ እና የሚታዩ ቀኖች። እነዚህ ጥቅስን አያረጋግጡም፣ ነገር ግን ገጹን በትክክል ለመጥቀስ ቀላል ያደርጉታል።
AISeeWhy ይህን እንዴት ይፈትሻል?
AISeeWhy ገጽዎን እንደ OAI-SearchBot፣ GPTBot፣ ChatGPT-User እና ሌሎች 11 ክሮውለሮች ከተለመደ አሳሽ ጎን ለጎን ያመጣል፣ robots.txtዎን በRFC 9309 ደንቦች ያነባል፣ እና ፋየርዎል በእገዳ ወይም በchallenge ሲመልስ ስሙን ይገልጻል። እያንዳንዱ ግኝት ለመለጠፍ ከሚሆን ማስተካከያ ጋር ይመጣል፣ ነጻው ፍተሻ ደግሞ ውጤትዎን እና የመጀመሪያውን ግኝት ያሳያል።
ለዚህ ችግር ማስተካከያዎች
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ምንጮች
- OpenAI: የOpenAI ክሮውለሮች አጠቃላይ እይታ
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: የAI ክሮውለሮችን ማስተዳደር (AI Crawl Control)