ChatGPT কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন

আপনার পেজ পেস্ট করুন এবং প্রায় ৩০ সেকেন্ডে দেখুন ChatGPT-র ক্রলাররা সেটিতে পৌঁছাতে, পড়তে ও উদ্ধৃত করতে পারে কি না, আর না পারলে কী বদলাতে হবে।

ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল

ক্রলার ধরে ধরে robots.txt

OAI-SearchBot, ChatGPT-User ও GPTBot আলাদা করে RFC 9309 নিয়ম অনুযায়ী পড়া হয়, ফলে কোনটির অনুমতি আছে আর কোন লাইন সিদ্ধান্ত নিচ্ছে তা দেখতে পান।

ফায়ারওয়াল ও CDN ব্লক

আপনার পেজ 14টি ক্রলার হিসেবে এবং একটি সাধারণ ব্রাউজার হিসেবে চাওয়া হয়। শুধু ক্রলাররা যে 403, 429 বা চ্যালেঞ্জ পেজ পায় তা চিহ্নিত করা হয় এবং এর পেছনের ফায়ারওয়ালের নাম বলা হয়।

ক্রলার আসলে কী পায়

প্রতিটি ক্রলারের স্ট্যাটাস, সাইজ ও রিডাইরেক্ট ব্রাউজারের পাওয়া ফলের সঙ্গে তুলনা করা হয়, ফলে মানুষকে যা দেয় তার চেয়ে কম ক্রলারকে দেওয়া পেজ ধরা পড়ে।

প্রতিটি সমস্যার সমাধান

প্রতিটি সমস্যার সঙ্গে থাকে কী পরিবর্তন করতে হবে। ফ্রি চেকে আপনার স্কোর ও প্রথম সমস্যাটি দেখা যায়; পূর্ণ রিপোর্ট $29, একবারই দিতে হয়।

সংক্ষিপ্ত উত্তর

ChatGPT আপনার পেজ তখনই উদ্ধৃত করতে পারে, যখন OpenAI-এর সার্চ ক্রলার OAI-SearchBot সেটি আনতে পারে এবং ব্রাউজারের মতো একই HTML পায়। তিনটি জিনিস চেক করুন: আপনার robots.txt OAI-SearchBot-কে নিষেধ করে না, আপনার ফায়ারওয়াল বা CDN তাকে 403 বা চ্যালেঞ্জ পেজ দেয় না, এবং মূল টেক্সট প্রাথমিক HTML-এই আছে। পড়তে পারা আর সুপারিশ পাওয়া এক নয়: ChatGPT আপনার সাইটের নাম নেয় কি না দেখতে, আপনার ক্রেতারা যে প্রশ্ন করেন সেগুলো একে করুন এবং এটি কোন সাইটগুলো উদ্ধৃত করে তা লিখে রাখুন।

৩ ধাপে নিজে চেক করুন

  1. আপনার robots.txt পড়ুন

    https://your-site.com/robots.txt খুলুন। OAI-SearchBot, ChatGPT-User বা User-agent: *-এর কোনো গ্রুপ যেন পেজটি নিষেধ না করে। GPTBot শুধু ট্রেনিংয়ের জন্য গুরুত্বপূর্ণ।

  2. ক্রলার কী পায় তা পরীক্ষা করুন

    পেজটি OAI-SearchBot হিসেবে চান, অথবা ফ্রি চেক চালান। এটি অবশ্যই ব্রাউজারের পাওয়া একই টেক্সটসহ 200 দেবে, 403 বা চ্যালেঞ্জ পেজ নয়।

  3. ChatGPT-কে জিজ্ঞেস করুন

    সার্চ চালু রেখে আপনার URL-টি সারাংশ করতে এবং আপনার ক্রেতারা যে একটি প্রশ্ন করেন তার উত্তর দিতে বলুন, তারপর এর দেওয়া সোর্সগুলো দেখুন। অ্যাক্সেস ঠিক থাকার পরও আপনি না থাকলে কারণ কনটেন্ট।

প্রশ্নোত্তর

ChatGPT আমার সাইট দেখতে পায় কি না তা কি ফ্রিতে চেক করতে পারি?

হ্যাঁ। আপনার robots.txt পড়া, OAI-SearchBot ইউজার এজেন্ট দিয়ে একটি curl অনুরোধ এবং ChatGPT-তে একটি প্রশ্ন, কোনোটিতেই খরচ নেই। AISeeWhy-এর ফ্রি চেক অ্যাকাউন্ট ছাড়াই দিনে একটি পেজের জন্য ক্রলার টেস্টগুলো চালায়।

ChatGPT আমার সাইট সুপারিশ করে কি না কীভাবে চেক করব?

সার্চ চালু রেখে ChatGPT-কে আপনার ক্রেতাদের প্রশ্ন করুন, আর লিখে রাখুন এটি আপনার সাইটের নাম নেয় বা লিংক দেয় কি না এবং বদলে কোন প্রতিযোগীদের নাম নেয়। উত্তর প্রতিবার চালানোয় বদলায়, তাই প্রতিটি প্রশ্ন আবার করুন এবং কয়েক সপ্তাহ ধরে আবার চেক করুন। AISeeWhy-এর AI-তে দৃশ্যমানতা চেক আপনার নিজের API কী দিয়ে ChatGPT, Claude, Perplexity ও Gemini-তে আপনার প্রশ্নগুলো চালায় এবং সর্বোচ্চ চারটি প্রতিযোগীর পাশাপাশি উল্লেখ ট্র্যাক করে। API-র উত্তর ChatGPT অ্যাপে দেখানো উত্তর থেকে আলাদা হতে পারে।

ChatGPT আমার সাইট খুঁজে পায় না কেন?

সবচেয়ে বেশি দেখা যায়, robots.txt-এ OAI-SearchBot নিষিদ্ধ, ফায়ারওয়াল একে 403 বা চ্যালেঞ্জ পেজ দেয়, অথবা টেক্সট শুধু JavaScript চলার পরে আসে। তিনটিই ঠিক থাকলে হয়তো ChatGPT যে পেজগুলো উদ্ধৃত করে, সেগুলোর তুলনায় আপনার পেজ প্রশ্নের উত্তর কম সরাসরি দেয়।

GPTBot ব্লক করলে কি আমার সাইট ChatGPT সার্চ থেকে বাদ পড়ে?

না। OpenAI প্রতিটি ক্রলার সেটিংকে স্বাধীন হিসেবে দেখে। GPTBot ট্রেনিং-সম্পর্কিত, আর ChatGPT সার্চের উত্তরে পেজ দেখানো যাবে কি না তা ঠিক করে OAI-SearchBot। আপনি একটিকে নিষেধ করে অন্যটিকে অনুমতি দিতে পারেন।

ChatGPT-User কি robots.txt মানে?

OpenAI বলে, এই ভিজিটগুলো ব্যবহারকারী শুরু করেন বলে robots.txt রুল প্রযোজ্য নাও হতে পারে। এই ভিজিট থামাতে চাইলে robots.txt রুল নির্ভরযোগ্য নিয়ন্ত্রণ নয়।

robots.txt-এর পরিবর্তন ChatGPT-তে পৌঁছাতে কত সময় লাগে?

OpenAI বলে, robots.txt আপডেটের পর সার্চের জন্য তার সিস্টেম মানিয়ে নিতে প্রায় 24 ঘণ্টা লাগতে পারে।

পৌঁছানো গেলেই কি উদ্ধৃত হওয়া যায়?

না। অ্যাক্সেস উদ্ধৃতি সম্ভব করে; নিশ্চিত করে না। পেজটি কী বলে এবং কতটা পরিষ্কারভাবে বলে, তা-ই ঠিক করে সেটি উত্তরে ব্যবহার হবে কি না।

পূর্ণ গাইড পড়ুন

অনেক সাইট মালিক ChatGPT-কে নিজের পণ্য নিয়ে প্রশ্ন করেন, দেখেন তার বদলে কোনো প্রতিযোগী উদ্ধৃত হয়েছে, এবং ভাবেন ChatGPT আদৌ তাঁদের সাইটে পৌঁছাতে পারে কি না। এই প্রশ্নের একটি নির্দিষ্ট, পরীক্ষা করা যায় এমন উত্তর আছে। OpenAI তার ক্রলারদের নাম এবং প্রতিটি কী করে তা প্রকাশ করে, তাই আপনি চেইনের প্রতিটি ধাপ চেক করতে পারেন: robots.txt রুল, আপনার সার্ভার কী রেসপন্স পাঠায়, এবং সেই রেসপন্সের কনটেন্ট।

5 মিনিটের চেক, ধাপে ধাপে

  1. https://your-site.com/robots.txt খুলুন এবং নিশ্চিত করুন যে OAI-SearchBot, ChatGPT-User বা User-agent: *-এর কোনো গ্রুপ পেজটি নিষেধ করে না। GPTBot শুধু ট্রেনিংয়ের জন্য গুরুত্বপূর্ণ।
  2. AISeeWhy-তে পেজটির একটি ফ্রি চেক চালান অথবা OAI-SearchBot ইউজার এজেন্ট দিয়ে একটি অনুরোধ পাঠান: এটিকে স্ট্যাটাস 200 এবং ব্রাউজার যে টেক্সট পায় সেটিই পেতে হবে, 403 বা চ্যালেঞ্জ পেজ নয়।
  3. পেজের সোর্স দেখুন এবং নিশ্চিত করুন যে মূল টেক্সট HTML-এ আছে, পরে JavaScript দিয়ে যোগ করা নয়।
  4. সার্চ চালু রেখে ChatGPT-কে আপনার URL-এর সারাংশ দিতে এবং আপনার ক্রেতারা করেন এমন একটি প্রশ্নের উত্তর দিতে বলুন। এটি যে উৎসগুলো দেখায় সেগুলো দেখুন।

ধাপ 1 বা 2 ব্যর্থ হলে আগে সেটি ঠিক করুন: নিচের সেকশনগুলো দেখায় কীভাবে। চারটিই পাস করলেও ChatGPT আপনাকে উদ্ধৃত না করলে কারণটি কনটেন্ট, অ্যাক্সেস নয়।

ChatGPT-র উত্তরের জন্য কোন OpenAI ক্রলার গুরুত্বপূর্ণ?

OpenAI এমন তিনটি এজেন্ট ডকুমেন্ট করে, যাদের সঙ্গে সাইট মালিকদের সাধারণত দেখা হয়। তাদের কাজ আলাদা, এবং একটিকে ব্লক করলে অন্যগুলো ব্লক হয় না। OpenAI জানায়, প্রতিটি robots.txt সেটিং স্বাধীন।

  • OAI-SearchBot ChatGPT-র সার্চ ফিচারের জন্য পেজ খুঁজে বের করে ও ইনডেক্স করে। OpenAI বলে, যেসব সাইট এ থেকে অপ্ট-আউট করেছে, সেগুলো ChatGPT সার্চের উত্তরে দেখানো হবে না। আপনি উদ্ধৃত হতে পারবেন কি না, তা এটিই ঠিক করে।
  • GPTBot এমন কনটেন্ট সংগ্রহ করে যা OpenAI-এর ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার হতে পারে। একে নিষেধ করা মানে জানানো যে আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার করা উচিত নয়। এতে আপনি সার্চের উত্তর থেকে বাদ পড়েন না।
  • ChatGPT-User একটি পেজে যায় যখন কেউ ChatGPT-কে তা করতে বলেন, যেমন একটি লিংক পেস্ট করে। OpenAI বলে, ব্যবহারকারীর শুরু করা এই ভিজিটগুলোর ক্ষেত্রে robots.txt রুল প্রযোজ্য নাও হতে পারে, এবং কনটেন্ট সার্চে দেখা যাবে কি না তা ঠিক করতে এই এজেন্ট ব্যবহার হয় না।

সংক্ষেপে: OAI-SearchBot উদ্ধৃতি নিয়ন্ত্রণ করে, GPTBot ট্রেনিং নিয়ন্ত্রণ করে, আর ChatGPT-User ব্যবহারকারীর অনুরোধে লাইভ ভিজিট সামলায়।

ChatGPT-র জন্য আমার robots.txt কীভাবে চেক করব?

ব্রাউজারে https://yourdomain.com/robots.txt খুলুন। এমন একটি গ্রুপ খুঁজুন যাতে OAI-SearchBot-এর নাম আছে। না থাকলে ক্রলার User-agent: * গ্রুপ মেনে চলে। যে গ্রুপ প্রযোজ্য, তাতে একটি Disallow: / থাকলে পুরো সাইট ব্লক হয়।

ফাইলটি আদৌ উত্তর দেয় কি না, তাও দেখুন। RFC 9309 অনুযায়ী robots.txt সার্ভার এরর (5xx) দিলে বা পৌঁছানো না গেলে ক্রলারকে ধরে নিতে হয় যে পুরো সাইটই নিষিদ্ধ। 404 ঠিক আছে: এর মানে কোনো রুল নেই। robots.txt ঠিকানা স্ট্যাটাস 200 দিয়ে একটি HTML পেজ ফেরত দেওয়া একটি সাধারণ ভুল, কারণ তখন ক্রলাররা এতে কোনো বৈধ রুল পায় না।

যে সেটআপ ChatGPT সার্চ রাখে এবং ট্রেনিং থেকে অপ্ট-আউট করে, তা দেখতে এরকম:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI বলে, robots.txt আপডেট করার পর সার্চের পরিবর্তন কার্যকর হতে প্রায় 24 ঘণ্টা লাগতে পারে।

robots.txt অনুমতি দিলেও কি ফায়ারওয়াল ChatGPT-কে ব্লক করতে পারে?

হ্যাঁ, এবং এটি একটি সাধারণ কারণ। robots.txt হলো ভদ্র ক্রলারদের প্রতি একটি অনুরোধ, অ্যাক্সেস কন্ট্রোল নয়। আসলে কী ফেরত পাঠানো হবে তা ঠিক করে আপনার ফায়ারওয়াল, CDN বা বট সুরক্ষা। এটি কোনো AI ক্রলারকে অবাঞ্ছিত বট মনে করলে ক্রলার পায় 403, 429 বা Cloudflare-এর "Just a moment..." স্ক্রিনের মতো একটি চ্যালেঞ্জ পেজ, অথচ ব্রাউজারে মানুষ পেজটি স্বাভাবিকভাবে দেখে।

বাইরে থেকে এটি সবার জন্য খোলা একটি সাইটের মতোই দেখায়। শুধু যে অনুরোধ নিজেকে ক্রলার হিসেবে পরিচয় দেয়, সেটিই পার্থক্যটা দেখায়। এই অবস্থায় robots.txt বলে হ্যাঁ, সার্ভার বলে না, আর জেতে সার্ভারই।

OAI-SearchBot কী পায়, তা কীভাবে পরীক্ষা করব?

একই URL-এ দুটি অনুরোধ পাঠান, একটি ব্রাউজারের ইউজার এজেন্ট দিয়ে এবং একটি ক্রলারের ইউজার এজেন্ট দিয়ে, তারপর স্ট্যাটাস কোড ও আকার তুলনা করুন। OpenAI প্রতিটি ক্রলারের জন্য একটি উদাহরণ ইউজার এজেন্ট প্রকাশ করে; এর ভার্সন নম্বর বদলাতে পারে।

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ব্রাউজার যদি বড় বডিসহ 200 পায় আর ক্রলার পায় 403, 429, 503 বা অনেক ছোট বডি, তাহলে আপনার ফায়ারওয়াল ক্রলারের সঙ্গে ভিন্ন আচরণ করছে। একটি সীমাবদ্ধতা আছে: আপনার পরীক্ষা আসে আপনার নিজের IP ঠিকানা থেকে, OpenAI-এর নয়। যেসব ফায়ারওয়াল প্রকাশিত IP রেঞ্জ দিয়ে ক্রলার যাচাই করে (OpenAI সেগুলো openai.com/searchbot.json-এ তালিকাভুক্ত করে), সেগুলো আসল ক্রলারকে ঢুকতে দিয়ে আপনার পরীক্ষা ব্লক করতে পারে। তবু এই পরীক্ষায় ব্লক দেখালে বোঝা যায় ফায়ারওয়াল ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে, যা ঠিক করা দরকার।

পেজ লোড হয়, তবু ChatGPT কাজের কিছু না বললে কী করব?

অ্যাক্সেস কেবল প্রথম ধাপ। যে HTML পৌঁছায় তা যদি একটি খালি খোলস হয়, যা পরে JavaScript দিয়ে ভরা হয়, তাহলে ক্রলার প্রায় কোনো টেক্সটই নাও পেতে পারে। curl বা ব্রাউজারের view-source দিয়ে কাঁচা HTML দেখুন: মূল টেক্সট সেখানে না থাকলে ক্রলারও সম্ভবত তা দেখে না।

এরপর আসে কনটেন্টের সংকেত: পেজের উপরের দিকে একটি পরিষ্কার সংক্ষিপ্ত উত্তর, মানুষের প্রশ্নের সঙ্গে মেলে এমন হেডিং, প্রকাশক ও লেখকের নাম, এবং দৃশ্যমান তারিখ। এগুলো উদ্ধৃতির নিশ্চয়তা দেয় না, তবে পেজটিকে সঠিকভাবে উদ্ধৃত করা সহজ করে।

AISeeWhy এটি কীভাবে চেক করে?

AISeeWhy একটি সাধারণ ব্রাউজারের পাশাপাশি OAI-SearchBot, GPTBot, ChatGPT-User ও আরও 11টি ক্রলার হিসেবে আপনার পেজ আনে, RFC 9309-এর রুল অনুযায়ী আপনার robots.txt পড়ে এবং কোনো ফায়ারওয়াল ব্লক বা চ্যালেঞ্জ দিলে তার নাম জানায়। প্রতিটি পর্যবেক্ষণের সঙ্গে পেস্ট করার মতো সমাধান থাকে, আর ফ্রি চেক আপনার স্কোর ও প্রথম পর্যবেক্ষণ দেখায়।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

উৎস

আরও আর্টিকেল

প্রকাশিত · আপডেট করা হয়েছে