Monitoring crawlerów AI

Reguła zapory, ustawienie CDN lub nowy robots.txt mogą z dnia na dzień odciąć crawlery AI, a dla ludzi nic w Twojej witrynie nie wygląda na zepsute. Monitoring ponownie sprawdza Twoje ważne strony i wysyła Ci e-mail, gdy coś nowego je blokuje.

Za darmo · Bez rejestracji · Wynik w 30 sekund

Plany i ceny → Zobacz przykład pełnego raportu →

Ten tekst został przetłumaczony maszynowo z języka angielskiego.

Co sprawdza monitoring

Każdy przebieg to to samo sprawdzenie co darmowe sprawdzenie na naszej stronie głównej. Twoja strona jest pobierana jako 16 crawlerów AI i wyszukiwarek, jako curl i jako przeglądarka na komputerze, każde z opublikowanym user agentem. robots.txt jest oceniany dla każdego tokenu crawlera, a sprawdzane są dane strukturalne, treść, daty, mapy witryny, hreflang i llms.txt strony. Wynikiem jest ocena od 0 do 100 i lista ustaleń z priorytetami od P1 do P3.

Kiedy dostajesz e-mail

Monitorowane strony są sprawdzane ponownie codziennie lub co tydzień, jak wybierzesz. Dostajesz e-mail, gdy pojawi się nowy problem blokujący, na przykład crawler, który teraz dostaje kod 403 lub stronę weryfikacyjną, albo gdy wynik spadnie o 10 punktów lub więcej. E-mail mówi, co się zmieniło, i zawiera link do raportu z poprawką.

Czego nie widzi

Żądania wychodzą z naszego serwera z user agentem każdego crawlera, a nie z adresów IP samych operatorów crawlerów. Zapora, która ufa prawdziwym crawlerom na podstawie IP, może traktować je inaczej niż nas, i każde ustalenie o blokadzie to zaznacza. Aby zobaczyć, jak odpowiedziano prawdziwym crawlerom, sprawdzanie logów serwera w płatnych planach czyta Twój log dostępu i liczy wizyty oraz kody statusu każdego crawlera AI.

Plany z monitoringiem

Darmowy plan nie ma monitoringu: daje jedno sprawdzenie dziennie z wynikiem i pierwszym ustaleniem. Plany są rozliczane miesięcznie, można je anulować w dowolnym momencie, a każdą płatność można w pełni zwrócić w ciągu 14 dni.

Jak zacząć

  1. Uruchom darmowe sprawdzenie na swojej najważniejszej stronie i spójrz na pierwsze ustalenie.
  2. Wybierz plan na stronie cennika i zaloguj się swoim adresem e-mail.
  3. Dodaj strony do obserwowania w sekcji Monitoring na swoim koncie: stronę główną, cennik, najważniejsze strony produktów lub usług i kluczowe artykuły.
  4. Wybierz codziennie lub co tydzień. Po poprawce sprawdź stronę ponownie, aby zobaczyć wynik przed i po.

Najczęściej zadawane pytania

Jakie zmiany uruchamiają alert?

Nowy problem blokujący na monitorowanej stronie, na przykład crawler, który jest teraz odrzucany, albo spadek wyniku o 10 punktów lub więcej od poprzedniego sprawdzenia.

Czy monitoring używa prawdziwego GPTBot lub ClaudeBot?

Nie. Wysyła ich opublikowane user agenty z naszego serwera. To pokazuje, jak Twoja zapora i serwer traktują te user agenty; sprawdzanie logów serwera pokazuje prawdziwe wizyty.

Czy mogę monitorować witryny klientów?

Tak, w planach Business, Agency i Enterprise. Pro jest do użytku osobistego, niekomercyjnego.

Czy mogę wypróbować przed zapłatą?

Darmowe sprawdzenie pokazuje, co znajduje jeden przebieg na dowolnej stronie. Sam monitoring wymaga płatnego planu, który możesz anulować w dowolnym momencie i otrzymać zwrot w ciągu 14 dni.

Powiązane narzędzia i poradniki