De ce îmi blochează brusc site-ul crawlerele AI?

Publicat

Răspuns scurt

Un site care începe să blocheze crawlerele AI s-a schimbat aproape întotdeauna într-unul din cinci locuri: robots.txt servit efectiv, o setare CDN precum politicile Cloudflare pentru crawlerele AI, protecția anti-bot sau o limită de rată, o setare implicită a hostingului ori un robots.txt care acum răspunde cu o eroare. Descarcă robots.txt de azi și o pagină ca fiecare crawler, compară-le cu un browser și cu ce aveai înainte și verifică aceste straturi în această ordine.

Nimeni nu decide să dispară din răspunsurile AI. Se întâmplă ca efect secundar al unei actualizări de temă, al unei setări de securitate, al unei migrări sau al unei setări implicite schimbate la un furnizor. Un browser vede în continuare site-ul normal, așa că schimbarea poate trece neobservată până când cineva îl întreabă pe ChatGPT sau Perplexity despre produs și primește un concurent. Fiecare strat lasă urme pe care le poți verifica din exterior sau în loguri.

Pe această pagină
  1. S-a schimbat robots.txt pe care îl primesc crawlerele?
  2. Au schimbat politicile Cloudflare pentru crawlerele AI din 2026 ce permite site-ul meu?
  3. Prinde protecția anti-bot sau o limită de rată crawlerele?
  4. Și-a schimbat furnizorul de hosting setările implicite?
  5. Răspunde robots.txt cu o eroare?
  6. Cum aflu când a început?
  7. Cum observ mai devreme data viitoare?

S-a schimbat robots.txt pe care îl primesc crawlerele?

Descarcă https://yourdomain.com/robots.txt și compară-l cu fișierul din repository sau din backup. Uită-te la fișierul servit, nu la cel de pe disc, pentru că mai multe straturi îl pot modifica pe drum:

Raportul robots.txt din Google Search Console arată versiunile pe care Google le-a preluat în ultimele 30 de zile, cu o intrare nouă de fiecare dată când s-a schimbat fișierul sau rezultatul preluării. Acoperă doar ce a văzut Google, dar, dacă serverul nu variază robots.txt după user agent, crawlerele AI au primit același fișier.

Au schimbat politicile Cloudflare pentru crawlerele AI din 2026 ce permite site-ul meu?

Cloudflare și-a schimbat de mai multe ori controalele pentru crawlerele AI, iar unele schimbări modifică ce face o zonă fără ca cineva s-o editeze. Pe 1 iulie 2025 a început să întrebe domeniile noi, la înregistrare, dacă permit crawlerele AI, cu blocarea ca stare inițială. Pe 1 iulie 2026 a înlocuit comutatorul unic Block AI bots cu politici separate Search, Agent și Training, pentru toate planurile, inclusiv Free.

Detaliul care prinde cele mai multe site-uri sunt crawlerele cu scop mixt. Documentația Cloudflare spune că acțiunile Training se aplică și crawlerelor folosite atât pentru căutare, cât și pentru antrenare. Anunțul său din iulie 2026 spunea că, de la 15 septembrie 2026, crawlerele multifuncționale precum Googlebot, Applebot și BingBot vor fi blocate pentru clienții care au ales să blocheze Training, fie prin noile opțiuni, fie prin vechea setare Block AI bots. O renunțare la antrenare setată acum un an poate ajunge deci acum la crawlerele de căutare.

Setările implicite pentru domeniile noi au fost descrise diferit de-a lungul timpului. Același anunț spunea că domeniile noi vor avea Training și Agent blocate pe paginile care afișează reclame de la 15 septembrie 2026, în timp ce documentația politicii actualizată pe 2 noiembrie 2026 spune că domeniile noi pornesc cu toate trei pe Allow. Deschide Security, apoi Settings, filtrează după Bot traffic și citește AI Crawler and Agent access policies pentru propria zonă. Ghidul nostru despre Cloudflare AI Crawl Control explică fiecare setare.

Prinde protecția anti-bot sau o limită de rată crawlerele?

Protecția anti-bot judecă fiecare cerere, iar crawlerele descarcă multe pagini rapid din centre de date, exact ce fac boții. Un crawler care trecea luna trecută poate începe să primească pagini de verificare după ce operatorul său schimbă intervalele IP sau ritmul de accesare, ori după ce sunt actualizate regulile de protecție. Bot Fight Mode de la Cloudflare este o cauză frecventă, iar Cloudflare spune că nu poate fi ocolit sau sărit cu reguli personalizate WAF ori Page Rules, așa că o regulă de permitere adăugată ulterior nu ajută cât timp este activ. O limită de rată nouă care răspunde la vârfuri cu 429 are același efect asupra unui crawler activ.

Testează din exterior: cere o pagină ca browser și ca două crawlere de căutare AI, apoi cere robots.txt ca un crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Un 403, 429 sau 503 doar pentru un crawler, o pagină cu titlul Just a moment... sau un conținut mult mai mic decât al browserului înseamnă că acel crawler este tratat diferit. Testul pleacă de la IP-ul tău, nu de la cel al furnizorului, așa că regulile bazate pe statutul de bot verificat pot trata altfel crawlerul real. Jurnalul de evenimente al firewall-ului arată ce regulă a răspuns.

Și-a schimbat furnizorul de hosting setările implicite?

Unele hostinguri filtrează traficul AI la nivel de server, înainte să ruleze propriile tale reguli. SiteGround, de exemplu, a scris în august 2025 că blochează implicit crawlerele AI concepute să colecteze date de antrenare și permite crawlerele care vizitează atunci când o persoană întreabă un asistent AI despre o pagină. Astfel de reguli nu apar în robots.txt și se pot schimba când hostingul își actualizează listele de boți.

Dacă o blocare apare deodată pe mai multe site-uri de la același hosting sau în răspunsuri care nu ajung niciodată în logurile aplicației, întreabă hostingul ce reguli pentru boți se aplică contului tău și dacă poți excepta crawlerele pe care vrei să le păstrezi.

Răspunde robots.txt cu o eroare?

Un robots.txt care eșuează poate bloca mai mult decât orice linie Disallow. Conform RFC 9309, un răspuns 4xx înseamnă că un crawler poate descărca orice, dar o eroare de server (5xx) sau lipsa oricărui răspuns înseamnă că trebuie să presupună că întregul site este interzis. Google oprește accesarea în primele 12 ore ale unor astfel de erori, apoi folosește ultima copie bună până la 30 de zile.

Așa pot un vârf de încărcare, o regulă de firewall care pune verificare pe /robots.txt sau o limită de rată care îl include să țină pe dinafară crawlerele care se comportă corect, fără ca vreo regulă să se schimbe. Ultima comandă din testul de mai sus ar trebui să întoarcă 200 și text/plain. Un 5xx, un timeout sau o pagină de verificare acolo este primul lucru de reparat.

Cum aflu când a început?

O dată transformă un mister într-o comparație. În logurile de acces, filtrează cererile cu user agent-uri de crawlere AI și caută ziua în care codurile lor de stare au trecut de la 200 la 403, 429 sau 503, ori ziua în care au încetat să ceară pagini după ce au citit robots.txt; ghidul nostru despre verificarea crawlerelor AI în logurile serverului conține comenzile. Cererile blocate de CDN nu ajung niciodată la origine, așa că verifică și CDN-ul. Pe Cloudflare, AI Crawl Control arată distribuția codurilor de stare în timp, pe care o poți filtra după crawler.

Apoi pune data respectivă lângă deployuri, actualizări de pluginuri și teme, schimbări de setări CDN și anunțuri ale furnizorilor. Înainte să acționezi, confirmă că IP-urile sursă aparțin furnizorului, ca să fii sigur că te uiți la crawlerul real, nu la un impostor care îi folosește numele.

Cum observ mai devreme data viitoare?

Verifică accesul după fiecare deploy, schimbare de CDN și actualizare de plugin, nu doar când scade traficul. Verificarea gratuită AISeeWhy descarcă o pagină ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și recunoaște paginile de verificare ale firewall-ului. Verificatorul robots.txt gratuit arată, pentru fiecare crawler, dacă o pagină poate fi descărcată conform fișierului live de azi.

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

De ce nu-mi mai afișează ChatGPT site-ul?

Adesea pentru că OAI-SearchBot, crawlerul din spatele căutării ChatGPT, a ajuns să fie blocat de o schimbare în robots.txt, de o politică CDN sau de protecția anti-bot. OpenAI spune că site-urile care îl blochează nu apar în răspunsurile de căutare ChatGPT. Verifică fiecare strat pentru acest crawler și așteaptă cam 24 de ore după o corectură în robots.txt, cât spune OpenAI că le ia sistemelor sale să se ajusteze.

A început Cloudflare să blocheze Googlebot pe site-ul meu?

Se poate întâmpla. Cloudflare a spus că, de la 15 septembrie 2026, clienții care blochează Training blochează și crawlerele multifuncționale precum Googlebot, Applebot și BingBot. Documentația sa spune că opțiunea Training Disallow blochează crawlerele de antrenare la edge, dar lasă deoparte crawlerele cu utilizare mixtă, așa că verifică ce opțiune folosește zona ta.

Poate un constructor de site-uri sau un plugin să-mi schimbe robots.txt?

Da. Constructorii de site-uri și pluginurile de SEO sau securitate pot scrie reguli pentru crawlerele AI în robots.txt, iar unele își extind listele de boți în timp. După fiecare actualizare, descarcă fișierul live și citește grupurile care se aplică crawlerelor de căutare care contează pentru tine.

De ce diferă robots.txt live de fișierul de pe server?

Ceva din fața serverului îl modifică. Robots.txt gestionat de Cloudflare, de exemplu, pune propriile reguli și semnale de conținut înaintea fișierului tău, în același răspuns. Un CMS care generează robots.txt la cerere sau o setare la nivel de hosting îl poate și înlocui ori extinde.

Cât durează până revin crawlerele AI după ce repar?

RFC 9309 spune că crawlerele nu ar trebui să folosească un robots.txt din cache mai mult de 24 de ore, OpenAI spune cam 24 de ore, iar Perplexity până la 24 de ore. Schimbările de firewall se aplică imediat ce furnizorul le implementează, dar crawlerele revin după propriul program.

Surse

Alte articole