Gemini কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন

প্রকাশিত · আপডেট করা হয়েছে

সংক্ষিপ্ত উত্তর

Gemini কোনো গ্রাউন্ডেড উত্তরে আপনার পেজ তখনই ব্যবহার করতে পারে, যখন পেজটি Google-এর Search ইনডেক্সে আছে এবং আপনার robots.txt Google-Extended টোকেন নিষেধ করে না। Google বলে, Gemini অ্যাপে গ্রাউন্ডিং মডেলকে Google Search ইনডেক্স থেকে কনটেন্ট দেয়, আর Google-Extended ঠিক করে আপনার কনটেন্ট এর জন্য ব্যবহার করা যাবে কি না। তাই Search Console-এ ইনডেক্সিং চেক করুন, robots.txt-এ Googlebot ও Google-Extended চেক করুন, তারপর Gemini-কে আপনার ক্রেতাদের প্রশ্ন করুন এবং এর উৎসগুলো খুলুন।

অন্য অ্যাসিস্ট্যান্টদের মতো Gemini-র এমন কোনো ক্রলার নেই যা আপনি লগে খুঁজে দেখতে পারেন। Google তার বিদ্যমান ক্রলার দিয়েই ক্রল করে, আর robots.txt-এর একটি টোকেন ঠিক করে কনটেন্ট দিয়ে Gemini কী করতে পারবে। তাই চেক করার পদ্ধতিও আলাদা: বেশিরভাগ কাজ হয় Google Search Console-এ ও আপনার robots.txt-এ, আর শেষ ধাপ হয় Gemini-তেই।

এই পেজে
  1. 5 মিনিটের চেক, ধাপে ধাপে
  2. Gemini ওয়েবসাইট থেকে কীভাবে তথ্য পায়?
  3. Google আমার পেজ ইনডেক্স করেছে কি না কীভাবে চেক করব?
  4. Google-Extended কি Gemini-কে আমার সাইট ব্যবহার করতে বাধা দিচ্ছে?
  5. ব্রাউজার ঢুকতে পারলেও কি ফায়ারওয়াল Google-কে ব্লক করতে পারে?
  6. Gemini আমার সাইট ব্যবহার বা উদ্ধৃত করে কি না কীভাবে দেখব?
  7. AI Overviews, AI Mode ও স্নিপেট রুল কি Gemini-কে প্রভাবিত করে?
  8. AISeeWhy এটি কীভাবে চেক করে?

5 মিনিটের চেক, ধাপে ধাপে

  1. পেজটি Google-এর ইনডেক্সে আছে কি না নিশ্চিত করতে Google-এ site: ও আপনার পেজের ঠিকানা দিয়ে সার্চ করুন, অথবা Search Console-এ URL Inspection ব্যবহার করুন।
  2. আপনার robots.txt খুলুন এবং নিশ্চিত করুন যে Googlebot পেজটি আনতে পারে এবং Google-Extended নিষিদ্ধ নয়, যদি না আপনি নিজে অপ্ট আউট করার সিদ্ধান্ত নিয়ে থাকেন।
  3. AISeeWhy-তে পেজটির একটি ফ্রি চেক চালান অথবা Googlebot ইউজার এজেন্ট দিয়ে একটি অনুরোধ পাঠান: এটিকে স্ট্যাটাস 200 এবং ব্রাউজারের মতো একই টেক্সট পেতে হবে।
  4. Gemini-কে এমন একটি প্রশ্ন করুন যার উত্তর আপনার পেজে আছে, এবং উত্তরের নিচে এটি যে উৎসগুলো দেখায় সেগুলো খুলুন।

পেজটি ইনডেক্সে না থাকলে Gemini-র গ্রাউন্ডিং এটি ব্যবহার করতে পারে না, তাই ধাপ 1 দিয়ে শুরু করুন। নিচের সেকশনগুলো প্রতিটি ধাপ এবং সেটি ব্যর্থ হলে কী করবেন তা ব্যাখ্যা করে।

Gemini ওয়েবসাইট থেকে কীভাবে তথ্য পায়?

Google-এর Gemini Apps Privacy Hub বলে, Gemini-র কিছু উত্তর Search ফলাফল দিয়ে গ্রাউন্ডেড হয়। Google-এর ক্রলার ডকুমেন্টেশন গ্রাউন্ডিং-এর সংজ্ঞা দেয় এভাবে: তথ্যের সঠিকতা ও প্রাসঙ্গিকতা বাড়াতে প্রম্পটের সময় মডেলকে Google Search ইনডেক্স থেকে কনটেন্ট দেওয়া। একই পেজ বলে, Google যে কনটেন্ট ক্রল করে তা Gemini মডেলের ট্রেনিংয়ে এবং Gemini Apps ও Vertex AI-এর Grounding with Google Search-এ গ্রাউন্ডিংয়ে ব্যবহার করা যাবে কি না, তা Google-Extended নিয়ন্ত্রণ করে।

Google-Extended-এর নিজস্ব কোনো ইউজার এজেন্ট স্ট্রিং নেই। Google বলে, ক্রলিং হয় তার বিদ্যমান ইউজার এজেন্ট দিয়ে, আর টোকেনটি শুধু robots.txt-এ নিয়ন্ত্রণ হিসেবে কাজ করে। বাস্তবে এর মানে, Gemini আপনার পেজ ব্যবহার করতে দুটি শর্ত লাগে: পেজটি Google-এর ইনডেক্সে থাকতে হবে, আর আপনার robots.txt সেই পেজের জন্য Google-Extended-কে নিষেধ করবে না।

Gemini কোন ইনডেক্স করা পেজ ব্যবহার বা উদ্ধৃত করবে তা কীভাবে বাছাই করে, Google তা নথিভুক্ত করে না। দুটি শর্ত পূরণ করলে আপনার পেজ ব্যবহারযোগ্য হয়; Gemini সেটি বাছবে এমন নিশ্চয়তা নেই।

Google আমার পেজ ইনডেক্স করেছে কি না কীভাবে চেক করব?

Google Search Console-এর URL Inspection টুল ব্যবহার করুন। ইনডেক্স করা ভার্সনের জন্য এটি দেখায়:

Test live URL পেজটি রিয়েল টাইমে আনে, আর View tested page একটি স্ক্রিনশট ও Google যে HTML পেয়েছে তা দেখায়। স্ক্রিনশটে চ্যালেঞ্জ পেজ থাকলে বা HTML-এ আপনার মূল টেক্সট না থাকলে Google, আর তার সঙ্গে Gemini-ও, আপনার কনটেন্ট দেখে না। Request indexing Google-কে URL-টি আবার ক্রল করতে বলে; Google বলে এতে সাধারণত প্রায় একদিন লাগে, ইনডেক্সিংয়ের কোনো নিশ্চয়তা ছাড়াই।

Google-Extended কি Gemini-কে আমার সাইট ব্যবহার করতে বাধা দিচ্ছে?

আপনার robots.txt খুলুন এবং Google-Extended-এর নাম আছে এমন গ্রুপ খুঁজুন। সেখানে Disallow: / থাকলে Google-কে বলা হয় আপনার পেজ Gemini ট্রেনিংয়ে বা Gemini Apps-এর গ্রাউন্ডিংয়ে ব্যবহার না করতে। Google বলে, টোকেনটি Google Search-এ অন্তর্ভুক্তিতে প্রভাব ফেলে না এবং র‍্যাঙ্কিং সিগন্যাল নয়, তাই এই ব্লক সহজেই চোখ এড়িয়ে যায়: আপনার সার্চ ট্রাফিক স্বাভাবিক দেখায়, অথচ Gemini আপনার পেজ দিয়ে উত্তর গ্রাউন্ড করতে পারে না। AI Overviews ও Google-Extended নিয়ে আমাদের আলাদা লেখায় আছে টোকেনটি Search-এ কী নিয়ন্ত্রণ করে আর কী করে না।

টোকেনটি কখনো অনুরোধে দেখা যায় না, তাই curl দিয়ে এটি পরীক্ষা করা যায় না বা লগে খুঁজে পাওয়া যায় না। ফাইলটি পড়াই একমাত্র চেক:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

মেলানো বড়-ছোট হাতের অক্ষর মানে না, আর কোনো গ্রুপে Google-Extended-এর নাম না থাকলে এর ওপর * গ্রুপ প্রযোজ্য হয়। AI ট্রেনিং নিয়ে প্রথম আলোচনার সময় অনেক সাইট এই ব্লক যোগ করেছিল। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইন নিয়ে আমাদের গবেষণায়, robots.txt থাকা 518টি সাইটের 114টি Google-Extended-এর নাম দিয়েছিল এবং 94টি (18.1%) এর জন্য হোম পেজ নিষিদ্ধ করেছিল। এটি এখনো আপনার চাওয়ার সঙ্গে মেলে কি না ঠিক করুন, কারণ এটি গ্রাউন্ডিংকেও আওতায় নেয়।

ব্রাউজার ঢুকতে পারলেও কি ফায়ারওয়াল Google-কে ব্লক করতে পারে?

হ্যাঁ। বট সুরক্ষা বা রেট লিমিট যদি Google-এর ক্রলারদের 403, 429 বা চ্যালেঞ্জ পেজ দেয়, Google পেজটি ক্রল করতে পারে না, আর সময়ের সঙ্গে পেজটি Search থেকে এবং তার সঙ্গে Gemini-র গ্রাউন্ডিং থেকেও বাদ পড়তে পারে। এখানে URL Inspection সবচেয়ে ভালো পরীক্ষা, কারণ Google নিজের ঠিকানা থেকে পেজ আনে; আপনার কম্পিউটার থেকে curl পরীক্ষা শুধু দেখায় আপনার রুলগুলো ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে।

Google-কে নিরাপদে অনুমতি দিতে, নামের ওপর ভরসা না করে ভিজিটরকে যাচাই করুন। Google রিভার্স DNS লুকআপ এবং তারপর ফরওয়ার্ড লুকআপের পদ্ধতি নথিভুক্ত করে, আর তার সাধারণ ক্রলারদের IP রেঞ্জ common-crawlers.json-এ প্রকাশ করে:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

উদাহরণের ঠিকানাটি আপনার লগের একটি ঠিকানা দিয়ে বদলে দিন। দুটি লুকআপ না মিললে অনুরোধটি শুধু Google বলে দাবি করছে।

Gemini আমার সাইট ব্যবহার বা উদ্ধৃত করে কি না কীভাবে দেখব?

আপনার সাইটের নাম না বলে ক্রেতারা যে প্রশ্ন করেন সেগুলো Gemini-কে করুন এবং উৎসগুলো খুলুন। Google-এর হেল্প সেন্টার বলে, Sources বোতাম উত্তরের নিচে বা লেখার ভেতরে দেখা যায় এবং সম্পর্কিত লিংকের একটি প্যানেল খোলে, যাতে পাবলিক ওয়েবসাইটও থাকতে পারে। Sources বোতাম না থাকলে Gemini সেই উত্তরের জন্য লিংক দেয়নি, আর Google জানায় সব উত্তরে লিংক থাকে না। কোন ডোমেইনগুলো আসে তা লিখে রাখুন এবং কয়েক সপ্তাহ ধরে একই প্রশ্নগুলো আবার করুন।

ডেভেলপাররা Grounding with Google Search-সহ Gemini API দিয়ে একই পরীক্ষা চালাতে পারেন। Google বলে, এটি মডেলকে রিয়েল-টাইম ওয়েব কনটেন্টের সঙ্গে যুক্ত করে, আর গ্রাউন্ডেড উত্তরে প্রতিটি উৎসের URL ও শিরোনামসহ উদ্ধৃতি থাকে, তাই আপনার ডোমেইন আসে কি না চেক করা যায়। API-র উত্তর Gemini অ্যাপে দেখানো উত্তর থেকে আলাদা হতে পারে।

Gemini-সংক্রান্ত কিছু অনুরোধ আপনার সার্ভারে পৌঁছায়। Google ব্যবহারকারীর অনুরোধে চলা কিছু ফেচারের তালিকা দেয়, যেমন Google-GeminiNotebook, যা ব্যবহারকারীরা Gemini Notebook প্রজেক্টে উৎস হিসেবে যোগ করা URL আনে, এবং Google-Agent, যা Google-এর অবকাঠামোতে ব্যবহারকারীর অনুরোধে কাজ করা এজেন্টরা ব্যবহার করে। Google বলে, এই ফেচাররা সাধারণত robots.txt উপেক্ষা করে, কারণ একজন ব্যবহারকারী আনতে বলেছেন। এদের ভিজিট দেখায় যে মানুষ ওই প্রোডাক্টগুলো দিয়ে আপনার পেজ খোলে; এগুলো ওপরে বর্ণিত গ্রাউন্ডিংয়ের পথ নয়।

AI Overviews, AI Mode ও স্নিপেট রুল কি Gemini-কে প্রভাবিত করে?

AI Overviews ও AI Mode হলো নিজস্ব নিয়ন্ত্রণসহ Google Search-এর ফিচার। আপনার পেজ থেকে কী দেখানো হবে তা সীমিত করার উপায় হিসেবে Google nosnippet, data-nosnippet, max-snippet ও noindex-এর তালিকা দেয়। এর robots meta ট্যাগ ডকুমেন্টেশন বলে, nosnippet কনটেন্টকে AI Overviews ও AI Mode-এর সরাসরি ইনপুট হিসেবে ব্যবহার হতেও বাধা দেয়, আর max-snippet কতটা ব্যবহার করা যাবে তা সীমিত করে। Search Console-এ পুরো সাইটের জন্য Search-এর জেনারেটিভ AI সেটিংও আছে, যা একটি সাইটকে AI Overviews, AI Mode এবং Discover-এর জেনারেটিভ AI ফিচার থেকে বাদ দিতে পারে।

এই পেজগুলোর কোনোটিতেই Gemini অ্যাপের উল্লেখ নেই। ধরে নেবেন না যে কোনো স্নিপেট রুল বা Search Console সেটিং Gemini-র গ্রাউন্ডিং বদলায়, বা Google-Extended AI Overviews বদলায়। ব্যতিক্রম হলো noindex: Google-এর গ্রাউন্ডিং সংজ্ঞা অনুযায়ী Search ইনডেক্সের বাইরের পেজ এর জন্য ব্যবহার করা যায় না। ভুলে যাওয়া স্নিপেট রুল খুঁজতে HTML ও হেডার চেক করুন:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy এটি কীভাবে চেক করে?

AISeeWhy-এর ফ্রি চেক একটি আসল ব্রাউজারের পাশাপাশি Googlebot এবং অন্যান্য AI ও সার্চ ক্রলার হিসেবে আপনার পেজ আনে, Google-Extended টোকেনসহ প্রত্যেকের ওপর আপনার robots.txt প্রয়োগ করে, চ্যালেঞ্জ পেজ চিনে নেয় এবং JavaScript ছাড়া কতটা টেক্সট পৌঁছায় তা দেখায়। AI-তে দৃশ্যমানতা চেক, পেইড প্ল্যানে, আপনার নিজের কী দিয়ে Google Search গ্রাউন্ডিংসহ Gemini API-তে আপনার প্রশ্নগুলো করে এবং দেখায় আপনার ব্র্যান্ড বা ডোমেইন উল্লেখ বা উদ্ধৃত হয় কি না। এটি AI Overviews বা AI Mode-এ কোনো কোয়েরি চালায় না।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Gemini আমার সাইট দেখতে পায় কি না তা কি ফ্রিতে চেক করতে পারি?

হ্যাঁ। Search Console, একটি site: সার্চ, আপনার robots.txt এবং Gemini-তে একটি প্রশ্ন, কোনোটিতেই খরচ নেই। AISeeWhy-এর ফ্রি চেক দিনে একটি পেজের জন্য Googlebot, Google-Extended রুল এবং আরও 14টি ক্রলার পরীক্ষা করে।

Gemini-র কি নিজস্ব ক্রলার আছে?

গ্রাউন্ডিংয়ের জন্য নেই। Google বলে, Google-Extended-এর কোনো ইউজার এজেন্ট স্ট্রিং নেই এবং ক্রলিং হয় তার বিদ্যমান ক্রলার দিয়ে। Google-GeminiNotebook ও Google-Agent-এর মতো ব্যবহারকারীর অনুরোধে চলা আলাদা ফেচাররা কোনো ব্যবহারকারী চাইলে পেজে আসে, আর Google বলে তারা সাধারণত robots.txt উপেক্ষা করে।

Google-Extended ব্লক করলেও কি Gemini আমার ব্র্যান্ডের উল্লেখ করতে পারে?

Google বলে, এটি Gemini Apps-এ গ্রাউন্ডিংয়ের জন্য আপনার কনটেন্ট ব্যবহার করবে না। এই রুল আপনার নিজের পেজের জন্য। আপনাকে নিয়ে লেখা অন্য সাইটের কনটেন্ট সম্পর্কে Google কিছু বলে না, তাই Gemini সেই উৎস থেকে এখনো আপনার ব্র্যান্ডের নাম নিতে পারে।

robots.txt-এর পরিবর্তন Gemini-তে পৌঁছাতে কত সময় লাগে?

Gemini-র জন্য Google কোনো সময় বলে না। এর robots.txt ডকুমেন্টেশন বলে, Google সাধারণত ফাইলটি 24 ঘণ্টা পর্যন্ত ক্যাশ করে, তাই আবার পরীক্ষা করার আগে অন্তত একদিন অপেক্ষা করুন, আর যেসব পেজ Google কম ক্রল করে সেগুলোর জন্য আরও বেশি।

AI Overviews ও Gemini কি একই উৎস ব্যবহার করে?

দুটির সম্পর্ক কী, Google তা নথিভুক্ত করে না। দুটিই Google-এর ইনডেক্স থেকে নেয়, কিন্তু নিয়ন্ত্রণ আলাদা: AI Overviews ও AI Mode-এর জন্য স্নিপেট রুল ও Search Console সেটিং, আর Gemini গ্রাউন্ডিংয়ের জন্য Google-Extended। আলাদাভাবে চেক করুন।

সময়ের সঙ্গে Gemini-র উত্তর কীভাবে ট্র্যাক করব?

ক্রেতাদের প্রশ্নের একটি নির্দিষ্ট তালিকা রাখুন, নির্ধারিত সময় পরপর Gemini-কে সেগুলো করুন এবং উৎসে কোন ডোমেইন আসে তা লিখে রাখুন। AISeeWhy-এর AI-তে দৃশ্যমানতা চেক Google Search গ্রাউন্ডিংসহ Gemini API-তে প্রতি সপ্তাহে আপনার প্রশ্নগুলো চালায় এবং সর্বোচ্চ চারটি প্রতিযোগীর পাশাপাশি উল্লেখগুলো দেখায়। API-র ফলাফল Gemini অ্যাপ থেকে আলাদা হতে পারে।

উৎস

আরও আর্টিকেল