Látja a Gemini a weboldalamat? Így ellenőrizheti

Megjelent · Frissítve

Rövid válasz

A Gemini csak akkor használhatja az oldalát egy megalapozott válaszban, ha az oldal benne van a Google keresési indexében, és a robots.txt nem tiltja a Google-Extended tokent. A Google szerint a Gemini alkalmazásban a megalapozás (grounding) a Google Kereső indexéből ad tartalmat a modellnek, és a Google-Extended szabályozza, hogy a tartalma felhasználható-e erre. Ezért ellenőrizze az indexelést a Search Console-ban, nézze meg a robots.txt-ben a Googlebot és a Google-Extended szabályait, majd tegye fel a Gemininek a vásárlói kérdéseit, és nyissa meg a forrásait.

A Gemininek nincs olyan crawlere, amelyet a naplókban figyelhetne, ahogyan más asszisztenseknél. A Google a meglévő crawlereivel crawlol, és egy robots.txt-token dönti el, mit kezdhet a Gemini a tartalommal. Ezért az ellenőrzés is más: a nagy része a Google Search Console-ban és a robots.txt-ben történik, az utolsó lépés pedig magában a Geminiben.

Ezen az oldalon
  1. Az 5 perces ellenőrzés lépésről lépésre
  2. Hogyan jut információhoz a Gemini a webhelyekről?
  3. Hogyan ellenőrizhetem, hogy a Google indexelte-e az oldalamat?
  4. A Google-Extended akadályozza meg, hogy a Gemini használja a webhelyemet?
  5. Blokkolhatja egy tűzfal a Google-t, miközben a böngészők átjutnak?
  6. Honnan látom, hogy a Gemini használja vagy idézi-e a webhelyemet?
  7. Hatnak-e a Geminire az AI Overviews, az AI Mode és a kivonatszabályok?
  8. Hogyan ellenőrzi ezt az AISeeWhy?

Az 5 perces ellenőrzés lépésről lépésre

  1. Keressen rá a Google-ben a site: operátorral és az oldala címével, vagy használja a Search Console URL-vizsgálatát, hogy meggyőződjön róla, az oldal benne van a Google indexében.
  2. Nyissa meg a robots.txt-jét, és győződjön meg róla, hogy a Googlebot lekérheti az oldalt, a Google-Extended pedig nincs letiltva, hacsak nem döntött a kimaradás mellett.
  3. Futtasson ingyenes ellenőrzést az oldalra az AISeeWhy-on, vagy küldjön egy kérést Googlebot user agenttel: 200-as állapotot és ugyanazt a szöveget kell kapnia, mint egy böngészőnek.
  4. Tegyen fel a Gemininek egy kérdést, amelyre az oldala válaszol, és nyissa meg a válasz alatt megjelenő forrásokat.

Ha az oldal nincs indexelve, a Gemini groundingja nem tudja használni, ezért az 1. lépéssel kezdjen. Az alábbi szakaszok elmagyarázzák az egyes lépéseket, és hogy mit tegyen, ha valamelyik nem sikerül.

Hogyan jut információhoz a Gemini a webhelyekről?

A Google Gemini Apps Privacy Hub oldala szerint a Gemini egyes válaszai keresési eredményeken alapulnak. A Google crawlerdokumentációja a megalapozást úgy határozza meg, mint tartalom átadását a Google Kereső indexéből a modellnek a prompt idején, a tényszerűség és a relevancia javítására. Ugyanez az oldal szerint a Google-Extended szabályozza, hogy a Google által crawlolt tartalom felhasználható-e a Gemini-modellek tanításához, valamint a megalapozáshoz a Gemini alkalmazásokban és a Vertex AI Grounding with Google Search funkciójában.

A Google-Extended tokennek nincs saját user agent karakterlánca. A Google szerint a crawlolást a meglévő user agentjei végzik, a token pedig csak a robots.txt-ben működik vezérlőként. A gyakorlatban így két feltétele van annak, hogy a Gemini használja az oldalát: a Google-nek indexelnie kell, és a robots.txt nem tilthatja rá a Google-Extended tokent.

A Google nem dokumentálja, hogyan választja ki a Gemini, mely indexelt oldalakat használja vagy idézi. Ha mindkét feltétel teljesül, az oldal elérhetővé válik, de ez nem garantálja, hogy a Gemini ki is választja.

Hogyan ellenőrizhetem, hogy a Google indexelte-e az oldalamat?

Használja a Google Search Console URL Inspection (URL-ellenőrzés) eszközét. Az indexelt verzióról ezt mutatja:

A Test live URL valós időben kéri le az oldalt, a View tested page pedig képernyőképet és a Google által kapott HTML-t mutatja. Ha a képernyőképen kihívásoldal látható, vagy a HTML-ből hiányzik a fő szöveg, a Google, és vele a Gemini sem látja a tartalmat. A Request indexing arra kéri a Google-t, hogy crawlolja újra az URL-t; a Google szerint ez általában nagyjából egy napig tart, és az indexelés nem garantált.

A Google-Extended akadályozza meg, hogy a Gemini használja a webhelyemet?

Nyissa meg a robots.txt-t, és keressen olyan csoportot, amely a Google-Extended tokent nevezi meg. Az ott álló Disallow: / arra utasítja a Google-t, hogy ne használja az oldalait a Gemini tanításához vagy a megalapozáshoz a Gemini alkalmazásokban. A Google szerint a token nem befolyásolja a Google Keresőbe való bekerülést, és nem rangsorolási jel, ezért ez a tiltás könnyen elkerüli a figyelmet: a keresési forgalom normálisnak tűnik, miközben a Gemini nem tudja az oldalaira alapozni a válaszait. Az AI Overviews és a Google-Extended kapcsolatáról szóló külön cikkünk leírja, mit szabályoz a token a Keresőben, és mit nem.

Mivel a token soha nem jelenik meg a kérésekben, curl paranccsal nem tesztelheti, és a naplókban sem találja. Az egyetlen ellenőrzés a fájl elolvasása:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Az egyeztetés nem különbözteti meg a kis- és nagybetűket, és ha egyetlen csoport sem nevezi meg a Google-Extended tokent, a * csoport vonatkozik rá. Sok webhely akkor vette fel ezt a tiltást, amikor először esett szó az AI-tanításról. Az 1000 legnépszerűbb domainről készült felmérésünkben a robots.txt-vel rendelkező 518 webhely közül 114 nevezte meg a Google-Extended tokent, és 94 (18,1%) tiltotta számára a kezdőlapját. Döntse el, hogy ez még mindig megfelel-e a szándékainak, hiszen a megalapozásra is kiterjed.

Blokkolhatja egy tűzfal a Google-t, miközben a böngészők átjutnak?

Igen. Ha a botvédelem vagy egy sebességkorlát 403-mal, 429-cel vagy kihívásoldallal válaszol a Google crawlereinek, a Google nem tudja crawlolni az oldalt, és idővel az kieshet a Keresőből, és vele együtt a Gemini megalapozásából is. Itt az URL-ellenőrzés a legjobb teszt, mert a Google a saját címeiről kér le; a saját gépéről futtatott curl teszt csak azt mutatja meg, hogyan kezelik a szabályai a user agentet.

A Google biztonságos engedélyezéséhez a látogatót ellenőrizze, ne a névben bízzon. A Google egy fordított DNS-lekérdezést és utána egy előre irányuló lekérdezést dokumentál, és a gyakori crawlerei IP-tartományait a common-crawlers.json fájlban teszi közzé:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

A példacímet cserélje le egy címre a naplóiból. Ha a két lekérdezés nem egyezik, a kérés csak állítja magáról, hogy a Google-tól jön.

Honnan látom, hogy a Gemini használja vagy idézi-e a webhelyemet?

Tegye fel a Gemininek a vásárlói kérdéseit a webhelye megnevezése nélkül, és nyissa meg a forrásokat. A Google súgóközpontja szerint a Sources gomb a válasz alján vagy a szövegen belül jelenik meg, és kapcsolódó linkeket tartalmazó panelt nyit meg, amelyben nyilvános webhelyek is lehetnek. Ha nincs Sources gomb, a Gemini nem adott linkeket ahhoz a válaszhoz, és a Google megjegyzi, hogy nem minden válasz tartalmaz ilyet. Jegyezze fel, mely domainek jelennek meg, és ismételje meg ugyanazokat a kérdéseket néhány héten át.

A fejlesztők ugyanezt a tesztet a Gemini API-ban is futtathatják a Grounding with Google Search funkcióval. A Google szerint ez valós idejű webes tartalomhoz kapcsolja a modellt, a megalapozott válaszok pedig minden forrás URL-jével és címével ellátott hivatkozásokat tartalmaznak, így ellenőrizheti, megjelenik-e a domainje. Az API-válaszok eltérhetnek attól, amit a Gemini alkalmazás mutat.

Néhány Geminihez kapcsolódó lekérés eljut a szerveréig. A Google felsorol felhasználó által indított lekérőket, például a Google-GeminiNotebook lekérőt, amely azokat az URL-eket kéri le, amelyeket a felhasználók forrásként adnak hozzá egy Gemini Notebook-projekthez, és a Google-Agent lekérőt, amelyet a Google infrastruktúráján futó ügynökök használnak, amikor egy felhasználó kérésére cselekszenek. A Google szerint ezek a lekérők általában figyelmen kívül hagyják a robots.txt-t, mert a lekérést egy felhasználó kérte. A látogatásaik azt mutatják, hogy az emberek ezeken a termékeken keresztül nyitják meg az oldalait; nem a fent leírt megalapozási útvonalról van szó.

Hatnak-e a Geminire az AI Overviews, az AI Mode és a kivonatszabályok?

Az AI Overviews és az AI Mode a Google Kereső funkciói, saját vezérlőkkel. A Google a nosnippet, data-nosnippet, max-snippet és noindex lehetőségeket sorolja fel arra, hogy korlátozza, mi jelenhet meg az oldalaiból. A robots metacímkéről szóló dokumentációja szerint a nosnippet azt is megakadályozza, hogy a tartalom közvetlen bemenetként szolgáljon az AI Overviews és az AI Mode számára, a max-snippet pedig korlátozza, mennyi használható fel. A Search Console-ban van egy webhelyszintű Search generative AI beállítás is, amely kizárhat egy webhelyet az AI Overviews, az AI Mode és a Discover generatív AI-funkcióiból.

Egyik ilyen oldal sem említi a Gemini alkalmazást. Ne feltételezze, hogy egy kivonatszabály vagy a Search Console-beállítás megváltoztatja a Gemini megalapozását, sem azt, hogy a Google-Extended megváltoztatja az AI Overviews működését. A noindex a kivétel: a Google megalapozás-definíciója szerint a keresési indexen kívüli oldal nem használható hozzá. Az esetleg elfelejtett kivonatszabályok megtalálásához ellenőrizze a HTML-t és a fejléceket:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Hogyan ellenőrzi ezt az AISeeWhy?

Az ingyenes AISeeWhy-ellenőrzés egy valódi böngésző mellett Googlebot és a többi AI- és keresőcrawler nevében is lekéri az oldalát, mindegyikre alkalmazza a robots.txt-t, beleértve a Google-Extended tokent is, felismeri a kihívásoldalakat, és megmutatja, mennyi szöveg érkezik meg JavaScript nélkül. Az AI-láthatósági ellenőrzés a próbaidőszakban és a fizetős csomagokban az Ön saját kulcsával, a Gemini API-n keresztül, Google Search megalapozással teszi fel a kérdéseit, és megmutatja, hogy említi vagy idézi-e a márkáját vagy a domainjét. Az AI Overviews és az AI Mode lekérdezésére nem terjed ki.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Ingyen ellenőrizhetem, hogy a Gemini látja-e a webhelyemet?

Igen. A Search Console, egy site: keresés, a robots.txt és egy kérdés a Gemininek semmibe sem kerül. Az AISeeWhy ingyenes ellenőrzése naponta egy oldalra teszteli a Googlebot crawlert, a Google-Extended szabályt és 14 másik crawlert.

Van a Gemininek saját crawlere?

A megalapozáshoz nincs. A Google szerint a Google-Extended tokennek nincs user agent karakterlánca, a crawlolást pedig a meglévő crawlerei végzik. Külön, felhasználó által indított lekérők, például a Google-GeminiNotebook és a Google-Agent, akkor keresik fel az oldalakat, amikor egy felhasználó kéri, és a Google szerint általában figyelmen kívül hagyják a robots.txt-t.

Ha blokkolom a Google-Extended tokent, említheti még a Gemini a márkámat?

A Google szerint nem használja fel a tartalmát a megalapozáshoz a Gemini alkalmazásokban. Ez a szabály az Ön saját oldalaira vonatkozik. Arról a Google semmit nem mond, mi a helyzet más webhelyek Önről szóló tartalmával, így a Gemini ezekből a forrásokból továbbra is megnevezheti a márkáját.

Mennyi idő alatt ér el egy robots.txt-módosítás a Geminihez?

A Google nem ad meg időt a Geminire. A robots.txt-dokumentációja szerint a Google általában legfeljebb 24 órán át gyorsítótárazza a fájlt, ezért az újabb teszt előtt várjon legalább egy napot, a Google által ritkán újracrawlolt oldalaknál pedig tovább.

Ugyanazokat a forrásokat használja az AI Overviews és a Gemini?

A Google nem dokumentálja, hogyan függ össze a kettő. Mindkettő a Google indexére épül, de más vezérlőik vannak: kivonatszabályok és a Search Console-beállítás az AI Overviews és az AI Mode esetében, a Google-Extended pedig a Gemini megalapozásánál. Ellenőrizze őket külön.

Hogyan követhetem a Gemini válaszait időben?

Tartson egy állandó listát a vásárlói kérdésekről, tegye fel őket rendszeresen a Gemininek, és jegyezze fel, mely domainek jelennek meg a forrásokban. Az AISeeWhy AI-láthatósági ellenőrzése hetente lefuttatja a kérdéseit a Gemini API-n Google Search megalapozással, és legfeljebb négy versenytárs mellett mutatja az említéseket. Az API-eredmények eltérhetnek a Gemini alkalmazástól.

Források

További cikkek