Sprawdziliśmy robots.txt 10 000 najpopularniejszych witryn. Oto, co robią z crawlerami AI

Opublikowano

Krótka odpowiedź

Spośród 6192 domen z listy Tranco top 10 000, które udostępniają robots.txt, 23,2% blokuje co najmniej jeden crawler AI do trenowania, a 12,3% blokuje co najmniej jeden crawler wyszukiwania AI lub crawler działający na żądanie użytkownika. 51,6% witryn blokujących trenowanie blokuje też wyszukiwanie AI. Tylko 11,2% rezygnuje z trenowania, a jednocześnie dopuszcza wszystkie crawlery wyszukiwania AI.

W listopadzie sprawdziliśmy robots.txt 1000 najpopularniejszych domen. Tym razem sprawdziliśmy 10 000, tą samą metodą, i dodaliśmy analizę tego, jak obraz zmienia się wraz z rozmiarem witryn. Główny wniosek się potwierdza: blokowanie trenowania i blokowanie wyszukiwania traktuje się jak jedną decyzję, choć są to dwie różne decyzje.

Na tej stronie
  1. Jak to zmierzyliśmy?
  2. Co znaleźliśmy?
  3. Które crawlery są blokowane najczęściej?
  4. Czy większe witryny blokują więcej?
  5. Czy coś zmieniło się od naszego raportu z 12 listopada?
  6. Co to oznacza dla Twojego robots.txt?
  7. Jak wiarygodne są te liczby?

Jak to zmierzyliśmy?

Wzięliśmy 10 000 najlepszych domen z listy Tranco (ID listy JZWZY) i 21 listopada 2026 r. pobraliśmy dla każdej domeny stronę główną, robots.txt oraz llms.txt, używając własnego user agenta AISeeWhy. Każdy robots.txt oceniliśmy według RFC 9309 dla strony głównej (/) oraz dla 16 crawlerów AI i wyszukiwarek.

6192 z 10 000 domen udostępniało robots.txt (poprawna odpowiedź, która nie jest stroną HTML). 1121 odpowiedziało kodem 4xx, co oznacza brak reguł i dostęp dla wszystkich crawlerów, a 2687 nie udostępniało pliku (brak witryny HTTPS, błędy, przekroczenia czasu lub strona HTML zamiast pliku). Wszystkie poniższe odsetki dotyczą tych 6192 domen. Lista zawiera także sieci CDN i API, które nie obsługują żadnej witryny.

Co znaleźliśmy?

Które crawlery są blokowane najczęściej?

Odsetek z 6192 domen, których robots.txt zabrania crawlerowi dostępu do strony głównej:

Czy większe witryny blokują więcej?

Tak, a częściej też mylą trenowanie z wyszukiwaniem. Podzieliśmy listę według pozycji w rankingu:

Droga selektywna jest rzadka niezależnie od wielkości: 10,5%, 10,4% i 11,5% domen w trzech grupach.

Czy coś zmieniło się od naszego raportu z 12 listopada?

Ponownie sprawdziliśmy pierwsze 1000 domen z tej samej listy. Wynik jest stabilny z dokładnością do około punktu procentowego: 28,6% blokuje trenowanie (29,9% 12 listopada), 18,6% blokuje wyszukiwanie AI (19,5%), a 63,1% blokujących trenowanie blokuje też wyszukiwanie AI (63,2%). Podstawy procentów różnią się nieznacznie (teraz 560 domen z robots.txt, wtedy 518), ponieważ ta próba przed pobraniem podąża za przekierowaniem domeny do jej głównego hosta.

Co to oznacza dla Twojego robots.txt?

Większość firm AI opisuje osobne crawlery do trenowania i do wyszukiwania i zaznacza, że ich ustawienia są niezależne. Zablokowanie GPTBot nie wpływa na OAI-SearchBot, a zablokowanie ClaudeBot nie wpływa na Claude-SearchBot. Jeśli chcesz zrezygnować z trenowania, a mimo to być cytowanym, zablokuj tokeny do trenowania i dopuść tokeny wyszukiwania oraz użytkownika. Powtórz też wszystkie prywatne ścieżki w każdej grupie, ponieważ nazwana grupa nie dziedziczy reguł z *.

Jak wiarygodne są te liczby?

To reguły robots.txt dla strony głównej, odczytane jednym parserem w jednym dniu. Nie mierzą blokad na zaporze sieciowej, która może odrzucić crawler dopuszczony przez robots.txt. Nie pozwalają ustalić, co zamierzał właściciel witryny, a lista Tranco zawiera domeny, które nie obsługują żadnej witryny. Reguła blokująca crawler wyszukiwania nie jest dowodem błędu, a jedynie wyborem, którego często dokonuje się bez znajomości tej różnicy. Możesz przytaczać te liczby z linkiem do tej strony.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Jaki odsetek popularnych witryn blokuje crawlery AI?

Wśród 6192 domen z listy Tranco top 10 000, które udostępniają robots.txt, 23,2% blokuje co najmniej jeden crawler AI do trenowania, a 12,3% blokuje co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika.

Czy witryny blokujące trenowanie AI blokują też wyszukiwanie AI?

Często tak. 51,6% witryn blokujących crawler do trenowania blokuje też co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika, choć dostawcy opisują je jako osobne crawlery z niezależnymi ustawieniami.

Który crawler AI jest blokowany najczęściej?

Wśród crawlerów do trenowania Bytespider (18,7%) i CCBot (18,5%), potem GPTBot (17,4%). Wśród crawlerów wyszukiwania AI najczęściej blokowany jest PerplexityBot, na 10,4% domen.

Dlaczego liczby różnią się od raportu o 1000 witryn?

Pierwsze 1000 domen daje prawie takie same odsetki (28,6% i 18,6% wobec 29,9% i 19,5%). Wyniki dla 10 000 witryn są niższe, ponieważ mniejsze witryny blokują rzadziej.

Źródła

Więcej artykułów