Google-Extended

Google · AI სწავლება

Google-Extended არის robots.txt ტოკენი და არა ცალკე კრაულერი. ის აკონტროლებს, შეიძლება თუ არა Google-ის მიერ დაკრაულული კონტენტის გამოყენება მომავალი Gemini მოდელების სასწავლებლად და Gemini Apps-სა და Vertex AI-ში grounding-ისთვის. Google-ის თქმით, ის არ მოქმედებს საიტის Google Search-ში ყოფნაზე.

როგორ დავუშვათ

User-agent: Google-Extended
Allow: /

როგორ დავბლოკოთ

User-agent: Google-Extended
Disallow: /

რას აკეთებს

Google-Extended-ს საკუთარი user agent არ აქვს. დაკრაულვა Google-ის არსებული user agent-ებით ხდება, ხოლო Google-Extended ტოკენი მაკონტროლებელ როლს ასრულებს: ის Google-ს ეუბნება, შეიძლება თუ არა მის მიერ დაკრაულული კონტენტის გამოყენება Gemini მოდელების მომავალი თაობების სასწავლებლად და Gemini Apps-სა და Vertex AI-ში grounding-ისთვის.

Google აცხადებს, რომ Google-Extended არ მოქმედებს საიტის Google Search-ში ყოფნაზე. Google-ის AI ფუნქციები ძიებაში, როგორიცაა AI Overviews, იმართება Googlebot-ის წესებითა და ფრაგმენტების კონტროლით და არა ამ ტოკენით.

ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 18.1% მას ბლოკავდა. →

robots.txt ტოკენი

Google-Extended

როგორ გადავამოწმოთ რეალური ვიზიტები

თქვენს ლოგებში გადასამოწმებელი არაფერია: Google-Extended user agent-ად არასოდეს ჩნდება. მის უკან მდგომი მოთხოვნები Google-ის ჩვეულებრივი კრაულერებიდან მოდის, რომელთა გადამოწმებაც შეგიძლიათ reverse DNS მოძიებით (googlebot.com, google.com ან googleusercontent.com), რასაც პირდაპირი მოძიება მოსდევს, ან Google-ის გამოქვეყნებულ IP დიაპაზონებთან შედარებით.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →

robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ →