Poate Gemini să-mi vadă site-ul? Cum verifici

Publicat · Actualizat

Răspuns scurt

Gemini îți poate folosi pagina într-un răspuns cu grounding doar dacă pagina se află în indexul Căutării Google și robots.txt nu interzice tokenul Google-Extended. Google spune că grounding-ul din aplicația Gemini îi oferă modelului conținut din indexul Căutării Google și că Google-Extended controlează dacă propriul tău conținut poate fi folosit pentru asta. Așa că verifică indexarea în Search Console, verifică robots.txt pentru Googlebot și Google-Extended, apoi pune-i lui Gemini întrebările clienților tăi și deschide-i sursele.

Gemini nu are un crawler pe care să-l urmărești în loguri, așa cum poți face pentru alți asistenți. Google accesează site-urile cu crawlerele pe care le are deja, iar un token din robots.txt decide ce poate face Gemini cu acel conținut. Asta face verificarea diferită: cea mai mare parte se face în Google Search Console și în robots.txt, iar ultimul pas, chiar în Gemini.

Pe această pagină
  1. Verificarea de 5 minute, pas cu pas
  2. Cum obține Gemini informații de pe site-uri?
  3. Cum verific dacă Google mi-a indexat pagina?
  4. Împiedică Google-Extended Gemini să-mi folosească site-ul?
  5. Poate un firewall să blocheze Google, în timp ce browserele trec?
  6. Cum văd dacă Gemini îmi folosește sau îmi citează site-ul?
  7. Afectează AI Overviews, AI Mode și regulile de fragment Gemini?
  8. Cum verifică AISeeWhy acest lucru?

Verificarea de 5 minute, pas cu pas

  1. Caută pe Google site: plus adresa paginii sau folosește Inspectarea URL-ului din Search Console ca să confirmi că pagina e în indexul Google.
  2. Deschide robots.txt și asigură-te că Googlebot poate prelua pagina și că Google-Extended nu e blocat, dacă nu ai ales să renunți.
  3. Rulează o verificare gratuită a paginii pe AISeeWhy sau trimite o cerere cu user agentul Googlebot: trebuie să primească status 200 și același text ca un browser.
  4. Pune-i lui Gemini o întrebare la care răspunde pagina ta și deschide sursele pe care le arată sub răspuns.

Dacă pagina nu e indexată, Gemini nu o poate folosi ca sursă, așa că începe cu pasul 1. Secțiunile de mai jos explică fiecare pas și ce faci când eșuează.

Cum obține Gemini informații de pe site-uri?

Centrul de confidențialitate al aplicațiilor Gemini spune că unele răspunsuri Gemini au grounding în rezultatele Căutării. Documentația Google despre crawlere definește grounding-ul ca furnizarea către model, în momentul promptului, de conținut din indexul Căutării Google, pentru a îmbunătăți acuratețea și relevanța. Aceeași pagină spune că Google-Extended controlează dacă conținutul pe care Google îl accesează poate fi folosit pentru antrenarea modelelor Gemini și pentru grounding în aplicațiile Gemini și în Grounding with Google Search din Vertex AI.

Google-Extended nu are un șir user agent propriu. Google spune că accesarea se face cu user agent-urile existente, iar tokenul funcționează doar în robots.txt, ca mecanism de control. În practică, asta înseamnă două condiții pentru ca Gemini să-ți folosească pagina: Google trebuie s-o aibă în index, iar robots.txt nu trebuie să interzică Google-Extended pentru ea.

Google nu documentează cum alege Gemini ce pagini indexate folosește sau citează. Dacă îndeplinești ambele condiții, pagina ta devine disponibilă; asta nu garantează că Gemini o alege.

Cum verific dacă Google mi-a indexat pagina?

Folosește instrumentul Inspectarea adreselor URL din Google Search Console. Pentru versiunea indexată, arată:

Testează adresa URL live preia pagina în timp real, iar Vezi pagina testată arată o captură de ecran și HTML-ul primit de Google. Dacă în captură apare o pagină de verificare sau HTML-ului îi lipsește textul principal, Google, și odată cu el Gemini, nu îți vede conținutul. Solicită indexarea îi cere lui Google să acceseze din nou URL-ul; Google spune că de obicei durează cam o zi, fără garanția indexării.

Împiedică Google-Extended Gemini să-mi folosească site-ul?

Deschide robots.txt și caută un grup care menționează Google-Extended. Un Disallow: / acolo îi spune lui Google să nu-ți folosească paginile pentru antrenarea Gemini sau pentru grounding în aplicațiile Gemini. Google spune că tokenul nu afectează includerea în Căutarea Google și nu este un semnal de clasare, așa că această blocare e ușor de ratat: traficul din căutare arată normal, în timp ce Gemini nu își poate baza răspunsurile pe paginile tale. Articolul nostru separat despre AI Overviews și Google-Extended explică ce controlează tokenul în Căutare și ce nu.

Pentru că tokenul nu apare niciodată în cereri, nu-l poți testa cu curl și nici găsi în loguri. Citirea fișierului este singura verificare:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Potrivirea nu ține cont de majuscule, iar dacă niciun grup nu menționează Google-Extended, i se aplică grupul *. Multe site-uri au adăugat această blocare când s-a discutat prima dată despre antrenarea AI. În studiul nostru asupra celor mai populare 1.000 de domenii, 114 din cele 518 site-uri cu robots.txt menționau Google-Extended, iar 94 (18,1%) îi interziceau pagina principală. Decide dacă asta mai corespunde cu ce vrei, având în vedere că acoperă și grounding-ul.

Poate un firewall să blocheze Google, în timp ce browserele trec?

Da. Dacă protecția anti-bot sau o limită de rată răspunde crawlerelor Google cu un 403, un 429 sau o pagină de verificare, Google nu poate accesa pagina, iar cu timpul aceasta poate ieși din Căutare și, odată cu ea, din grounding-ul Gemini. Inspectarea adreselor URL este cel mai bun test aici, pentru că Google preia pagina de la propriile adrese; un test cu curl de pe calculatorul tău arată doar cum tratează regulile tale user agent-ul.

Ca să permiți Google în siguranță, verifică vizitatorul în loc să te încrezi în nume. Google documentează o căutare DNS inversă urmată de o căutare directă și publică intervalele IP ale crawlerelor sale comune în common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Înlocuiește adresa de exemplu cu una din logurile tale. Dacă cele două căutări nu se potrivesc, cererea doar pretinde că vine de la Google.

Cum văd dacă Gemini îmi folosește sau îmi citează site-ul?

Pune-i lui Gemini întrebările pe care le pun clienții tăi, fără să-ți numești site-ul, și deschide sursele. Centrul de ajutor Google spune că butonul Surse apare la finalul unui răspuns sau în text și deschide un panou cu linkuri asociate care poate include site-uri publice. Dacă nu există butonul Surse, Gemini nu a oferit linkuri pentru acel răspuns, iar Google precizează că nu toate răspunsurile le includ. Notează ce domenii apar și repetă aceleași întrebări timp de câteva săptămâni.

Dezvoltatorii pot rula același test prin Gemini API cu Grounding with Google Search. Google spune că acesta conectează modelul la conținut web în timp real, iar răspunsurile cu grounding au citări cu URL-ul și titlul fiecărei surse, așa că poți verifica dacă apare domeniul tău. Răspunsurile prin API pot diferi de ce arată aplicația Gemini.

Unele preluări legate de Gemini ajung totuși la serverul tău. Google enumeră fetchere declanșate de utilizatori, precum Google-GeminiNotebook, care cere URL-urile pe care utilizatorii le adaugă ca surse într-un proiect Gemini Notebook, și Google-Agent, folosit de agenți din infrastructura Google care acționează la cererea unui utilizator. Google spune că aceste fetchere ignoră în general robots.txt, pentru că preluarea a fost cerută de un utilizator. Vizitele lor arată că oamenii îți deschid paginile prin acele produse; nu sunt calea de grounding descrisă mai sus.

Afectează AI Overviews, AI Mode și regulile de fragment Gemini?

AI Overviews și AI Mode sunt funcții ale Căutării Google, cu propriile controale. Google enumeră nosnippet, data-nosnippet, max-snippet și noindex ca moduri de a limita ce se afișează din paginile tale. Documentația sa despre metaeticheta robots spune că nosnippet împiedică și folosirea conținutului ca intrare directă pentru AI Overviews și AI Mode, iar max-snippet limitează cât poate fi folosit. Search Console are și o setare la nivel de site pentru AI generativ în Căutare, care poate exclude un site din AI Overviews, AI Mode și funcțiile de AI generativ din Discover.

Niciuna dintre aceste pagini nu menționează aplicația Gemini. Nu presupune că o regulă de fragment sau setarea din Search Console schimbă grounding-ul Gemini ori că Google-Extended schimbă AI Overviews. noindex este excepția: după definiția Google a grounding-ului, o pagină din afara indexului Căutării nu poate fi folosită pentru el. Ca să găsești reguli de fragment pe care poate le-ai uitat, verifică HTML-ul și anteturile:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Cum verifică AISeeWhy acest lucru?

Verificarea gratuită AISeeWhy îți descarcă pagina ca Googlebot și celelalte crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare, inclusiv pentru tokenul Google-Extended, recunoaște paginile de verificare și arată cât text ajunge fără JavaScript. Verificarea Vizibilitate în AI, din planurile plătite, îți pune întrebările prin Gemini API cu grounding în Căutarea Google, folosind propria ta cheie, și arată dacă brandul sau domeniul tău este menționat ori citat. Nu interoghează AI Overviews sau AI Mode.

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Pot verifica gratuit dacă Gemini îmi vede site-ul?

Da. Search Console, o căutare site:, fișierul robots.txt și o întrebare în Gemini nu costă nimic. Verificarea gratuită AISeeWhy testează Googlebot, regula Google-Extended și alte 14 crawlere pentru o pagină pe zi.

Are Gemini propriul crawler?

Nu pentru grounding. Google spune că Google-Extended nu are un șir user agent și că accesarea se face cu crawlerele existente. Fetchere separate, declanșate de utilizatori, precum Google-GeminiNotebook și Google-Agent, vizitează pagini când un utilizator cere asta, iar Google spune că ele ignoră în general robots.txt.

Dacă blochez Google-Extended, îmi mai poate menționa Gemini brandul?

Google spune că nu îți va folosi conținutul pentru grounding în aplicațiile Gemini. Regula se aplică propriilor tale pagini. Google nu spune nimic despre conținutul de pe alte site-uri care scriu despre tine, așa că Gemini îți poate numi în continuare brandul pe baza acelor surse.

Cât durează până ajunge la Gemini o modificare din robots.txt?

Google nu dă un termen pentru Gemini. Documentația sa despre robots.txt spune că Google păstrează de obicei fișierul în cache până la 24 de ore, așa că așteaptă cel puțin o zi înainte să testezi din nou, și mai mult pentru paginile pe care Google le accesează rar.

Folosesc AI Overviews și Gemini aceleași surse?

Google nu documentează cum se leagă cele două. Ambele se bazează pe indexul Google, dar au controale diferite: regulile de fragment și setarea din Search Console pentru AI Overviews și AI Mode, respectiv Google-Extended pentru grounding-ul Gemini. Verifică-le separat.

Cum urmăresc răspunsurile Gemini în timp?

Păstrează o listă fixă de întrebări ale clienților, pune-le în Gemini după un program și notează ce domenii apar în surse. Verificarea Vizibilitate în AI din AISeeWhy îți rulează întrebările săptămânal prin Gemini API cu grounding în Căutarea Google și arată mențiunile alături de până la patru concurenți. Rezultatele prin API pot diferi de aplicația Gemini.

Surse

Alte articole