Sprawdziliśmy robots.txt 10 000 najpopularniejszych witryn. Oto, co robią z crawlerami AI
Spośród 6192 domen z listy Tranco top 10 000, które udostępniają robots.txt, 23,2% blokuje co najmniej jeden crawler AI do trenowania, a 12,3% blokuje co najmniej jeden crawler wyszukiwania AI lub crawler działający na żądanie użytkownika. 51,6% witryn blokujących trenowanie blokuje też wyszukiwanie AI. Tylko 11,2% rezygnuje z trenowania, a jednocześnie dopuszcza wszystkie crawlery wyszukiwania AI.
W listopadzie sprawdziliśmy robots.txt 1000 najpopularniejszych domen. Tym razem sprawdziliśmy 10 000, tą samą metodą, i dodaliśmy analizę tego, jak obraz zmienia się wraz z rozmiarem witryn. Główny wniosek się potwierdza: blokowanie trenowania i blokowanie wyszukiwania traktuje się jak jedną decyzję, choć są to dwie różne decyzje.
Na tej stronie
Jak to zmierzyliśmy?
Wzięliśmy 10 000 najlepszych domen z listy Tranco (ID listy JZWZY) i 21 listopada 2026 r. pobraliśmy dla każdej domeny stronę główną, robots.txt oraz llms.txt, używając własnego user agenta AISeeWhy. Każdy robots.txt oceniliśmy według RFC 9309 dla strony głównej (/) oraz dla 16 crawlerów AI i wyszukiwarek.
6192 z 10 000 domen udostępniało robots.txt (poprawna odpowiedź, która nie jest stroną HTML). 1121 odpowiedziało kodem 4xx, co oznacza brak reguł i dostęp dla wszystkich crawlerów, a 2687 nie udostępniało pliku (brak witryny HTTPS, błędy, przekroczenia czasu lub strona HTML zamiast pliku). Wszystkie poniższe odsetki dotyczą tych 6192 domen. Lista zawiera także sieci CDN i API, które nie obsługują żadnej witryny.
Co znaleźliśmy?
- 23,2% (1437 domen) blokuje co najmniej jeden crawler AI do trenowania.
- 12,3% (762) blokuje co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika, więc ich strony nie powinny być używane ani cytowane w odpowiedziach, które na nich się opierają.
- 51,6% domen blokujących crawler do trenowania (742 z 1437) blokuje też co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika.
- Tylko 11,2% (695) wybiera drogę selektywną: blokuje crawlery do trenowania i dopuszcza wszystkie crawlery wyszukiwania AI oraz crawlery użytkownika.
- 6,5% (401) określa swoje preferencje dotyczące AI za pomocą
Content-Signal. - 12,4% wszystkich 10 000 domen (1240) publikuje plik
llms.txt. - Dla porównania: 2,0% (124) blokuje
Googlebotna stronie głównej.
Które crawlery są blokowane najczęściej?
Odsetek z 6192 domen, których robots.txt zabrania crawlerowi dostępu do strony głównej:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% to najczęściej blokowany crawler wyszukiwania AI, przedOAI-SearchBot7,0% iClaude-SearchBot7,0%.- Crawlery, które otwierają stronę, gdy ktoś o to poprosi:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Czy większe witryny blokują więcej?
Tak, a częściej też mylą trenowanie z wyszukiwaniem. Podzieliśmy listę według pozycji w rankingu:
- Pozycje od 1 do 1000 (560 domen z robots.txt): 28,6% blokuje trenowanie, 18,6% blokuje wyszukiwanie AI, a 63,1% blokujących trenowanie blokuje też wyszukiwanie AI.
- Pozycje od 1001 do 3000 (1256 domen): 23,5%, 13,5% i 55,6%.
- Pozycje od 3001 do 10 000 (4376 domen): 22,4%, 11,2% i 48,6%.
Droga selektywna jest rzadka niezależnie od wielkości: 10,5%, 10,4% i 11,5% domen w trzech grupach.
Czy coś zmieniło się od naszego raportu z 12 listopada?
Ponownie sprawdziliśmy pierwsze 1000 domen z tej samej listy. Wynik jest stabilny z dokładnością do około punktu procentowego: 28,6% blokuje trenowanie (29,9% 12 listopada), 18,6% blokuje wyszukiwanie AI (19,5%), a 63,1% blokujących trenowanie blokuje też wyszukiwanie AI (63,2%). Podstawy procentów różnią się nieznacznie (teraz 560 domen z robots.txt, wtedy 518), ponieważ ta próba przed pobraniem podąża za przekierowaniem domeny do jej głównego hosta.
Co to oznacza dla Twojego robots.txt?
Większość firm AI opisuje osobne crawlery do trenowania i do wyszukiwania i zaznacza, że ich ustawienia są niezależne. Zablokowanie GPTBot nie wpływa na OAI-SearchBot, a zablokowanie ClaudeBot nie wpływa na Claude-SearchBot. Jeśli chcesz zrezygnować z trenowania, a mimo to być cytowanym, zablokuj tokeny do trenowania i dopuść tokeny wyszukiwania oraz użytkownika. Powtórz też wszystkie prywatne ścieżki w każdej grupie, ponieważ nazwana grupa nie dziedziczy reguł z *.
Jak wiarygodne są te liczby?
To reguły robots.txt dla strony głównej, odczytane jednym parserem w jednym dniu. Nie mierzą blokad na zaporze sieciowej, która może odrzucić crawler dopuszczony przez robots.txt. Nie pozwalają ustalić, co zamierzał właściciel witryny, a lista Tranco zawiera domeny, które nie obsługują żadnej witryny. Reguła blokująca crawler wyszukiwania nie jest dowodem błędu, a jedynie wyborem, którego często dokonuje się bez znajomości tej różnicy. Możesz przytaczać te liczby z linkiem do tej strony.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Walidator i tester llms.txt
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Jaki odsetek popularnych witryn blokuje crawlery AI?
Wśród 6192 domen z listy Tranco top 10 000, które udostępniają robots.txt, 23,2% blokuje co najmniej jeden crawler AI do trenowania, a 12,3% blokuje co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika.
Czy witryny blokujące trenowanie AI blokują też wyszukiwanie AI?
Często tak. 51,6% witryn blokujących crawler do trenowania blokuje też co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika, choć dostawcy opisują je jako osobne crawlery z niezależnymi ustawieniami.
Który crawler AI jest blokowany najczęściej?
Wśród crawlerów do trenowania Bytespider (18,7%) i CCBot (18,5%), potem GPTBot (17,4%). Wśród crawlerów wyszukiwania AI najczęściej blokowany jest PerplexityBot, na 10,4% domen.
Dlaczego liczby różnią się od raportu o 1000 witryn?
Pierwsze 1000 domen daje prawie takie same odsetki (28,6% i 18,6% wobec 29,9% i 19,5%). Wyniki dla 10 000 witryn są niższe, ponieważ mniejsze witryny blokują rzadziej.
Źródła
- AISeeWhy: Raport o dostępie crawlerów AI, 2026-11
- Tranco: ranking najpopularniejszych witryn do celów badawczych
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Przegląd crawlerów OpenAI
- Anthropic: Czy Anthropic pobiera dane z internetu i jak właściciele witryn mogą zablokować crawler?
- Perplexity: Crawlery Perplexity