Google-CloudVertexBot
Google-CloudVertexBot به درخواست صاحبان سایتها، سایتهایشان را برای ساختن Vertex AI Agents در Google Cloud میخزد. Google میگوید قوانین robots.txt آن هیچ اثری روی Google Search یا محصولات دیگر ندارند. مسدود کردن آن فقط وقتی اهمیت دارد که شما یا یک مشتری Google Cloud از سایت شما بهعنوان منبع داده یک عامل استفاده کنید.
چطور به آن اجازه دهید
User-agent: Google-CloudVertexBot
Allow: / چطور آن را مسدود کنید
User-agent: Google-CloudVertexBot
Disallow: / چه کاری میکند
Google میگوید ترجیحات خزشی که خطاب به Google-CloudVertexBot هستند روی خزشهایی اثر میگذارند که صاحبان سایت برای ساختن Vertex AI Agents درخواست کردهاند. هیچ اثری روی Google Search یا دیگر محصولات Google ندارد. user agent آن شامل زیررشته Google-CloudVertexBot است.
در robots.txt از قوانین توکن Google-CloudVertexBot و اگر چنین قوانینی نباشد از قوانین Googlebot پیروی میکند. Google آن را در میان خزندههای عمومیاش فهرست میکند که هنگام خزش خودکار همیشه از robots.txt پیروی میکنند.
توکن robots.txt
Google-CloudVertexBot
چطور بازدیدهای واقعی را تأیید کنید
Google میگوید رشتههای user agent قابل جعل هستند و یک بررسی DNS دومرحلهای را توصیه میکند. روی IP درخواستدهنده جستجوی DNS معکوس اجرا کنید: نام میزبان باید به googlebot.com، google.com یا googleusercontent.com ختم شود. سپس روی آن نام میزبان جستجوی مستقیم اجرا کنید و تأیید کنید که همان IP را برمیگرداند. Google محدودههای IP خزندههای عمومی خود را هم بهصورت JSON منتشر میکند، پس میتوانید نشانیها را خودکار تطبیق دهید.