Google-Extended
Google-Extended არის robots.txt ტოკენი და არა ცალკე კრაულერი. ის აკონტროლებს, შეიძლება თუ არა Google-ის მიერ დაკრაულული კონტენტის გამოყენება მომავალი Gemini მოდელების სასწავლებლად და Gemini Apps-სა და Vertex AI-ში grounding-ისთვის. Google-ის თქმით, ის არ მოქმედებს საიტის Google Search-ში ყოფნაზე.
როგორ დავუშვათ
User-agent: Google-Extended
Allow: / როგორ დავბლოკოთ
User-agent: Google-Extended
Disallow: / რას აკეთებს
Google-Extended-ს საკუთარი user agent არ აქვს. დაკრაულვა Google-ის არსებული user agent-ებით ხდება, ხოლო Google-Extended ტოკენი მაკონტროლებელ როლს ასრულებს: ის Google-ს ეუბნება, შეიძლება თუ არა მის მიერ დაკრაულული კონტენტის გამოყენება Gemini მოდელების მომავალი თაობების სასწავლებლად და Gemini Apps-სა და Vertex AI-ში grounding-ისთვის.
Google აცხადებს, რომ Google-Extended არ მოქმედებს საიტის Google Search-ში ყოფნაზე. Google-ის AI ფუნქციები ძიებაში, როგორიცაა AI Overviews, იმართება Googlebot-ის წესებითა და ფრაგმენტების კონტროლით და არა ამ ტოკენით.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 18.1% მას ბლოკავდა. →
robots.txt ტოკენი
Google-Extended
როგორ გადავამოწმოთ რეალური ვიზიტები
თქვენს ლოგებში გადასამოწმებელი არაფერია: Google-Extended user agent-ად არასოდეს ჩნდება. მის უკან მდგომი მოთხოვნები Google-ის ჩვეულებრივი კრაულერებიდან მოდის, რომელთა გადამოწმებაც შეგიძლიათ reverse DNS მოძიებით (googlebot.com, google.com ან googleusercontent.com), რასაც პირდაპირი მოძიება მოსდევს, ან Google-ის გამოქვეყნებულ IP დიაპაზონებთან შედარებით.
შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →
robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ →