Pse sajti im papritur po bllokon zvarritësit AI?

Publikuar

Përgjigje e shkurtër

Një sajt që nis të bllokojë zvarritësit AI pothuajse gjithmonë ka ndryshuar në një nga pesë vende: robots.txt që shërbehet realisht, një cilësim CDN si politikat e Cloudflare për zvarritësit AI, mbrojtja nga botët ose një kufizim kërkesash, një parazgjedhje e hostingut, ose një robots.txt që tani përgjigjet me gabim. Merrni robots.txt të sotëm dhe një faqe si secili zvarritës, krahasojini me një shfletues dhe me atë që kishit më parë, dhe kontrolloni këto shtresa me këtë radhë.

Askush nuk vendos të zhduket nga përgjigjet e AI. Ndodh si efekt anësor i një përditësimi teme, një cilësimi sigurie, një migrimi ose një parazgjedhjeje të ndryshuar te një ofrues. Një shfletues e sheh ende sajtin normalisht, prandaj ndryshimi mund të kalojë pa u vënë re derisa dikush e pyet ChatGPT ose Perplexity për produktin dhe merr një konkurrent. Çdo shtresë lë gjurmë që mund t'i kontrolloni nga jashtë ose në log-et tuaja.

Në këtë faqe
  1. A ka ndryshuar robots.txt që marrin zvarritësit?
  2. A e ndryshuan politikat e Cloudflare për zvarritësit AI në 2026 atë që lejon sajti im?
  3. A po i kap zvarritësit mbrojtja nga botët ose një kufizim kërkesash?
  4. A i ka ndryshuar parazgjedhjet ofruesi im i hostingut?
  5. A po përgjigjet robots.txt me gabim?
  6. Si ta gjej kur filloi?
  7. Si ta kap më herët herën tjetër?

A ka ndryshuar robots.txt që marrin zvarritësit?

Merrni https://yourdomain.com/robots.txt dhe krahasojeni me skedarin në repository ose në kopjen rezervë. Shikoni skedarin që shërbehet, jo atë në disk, sepse disa shtresa mund ta ndryshojnë gjatë rrugës:

Raporti robots.txt në Google Search Console tregon versionet që Google ka marrë në 30 ditët e fundit, me një hyrje të re sa herë ndryshon skedari ose rezultati i marrjes. Mbulon vetëm atë që pa Google, por nëse serveri juaj nuk e ndryshon robots.txt sipas user agent, zvarritësit AI morën të njëjtin skedar.

A e ndryshuan politikat e Cloudflare për zvarritësit AI në 2026 atë që lejon sajti im?

Cloudflare i ka ndryshuar disa herë kontrollet për zvarritësit AI, dhe disa ndryshime e ndryshojnë sjelljen e një zone pa e redaktuar njeri. Më 1 korrik 2025 nisi t'i pyeste domenet e reja gjatë regjistrimit nëse do t'i lejonin zvarritësit AI, me bllokimin si gjendje fillestare. Më 1 korrik 2026 e zëvendësoi çelësin e vetëm Block AI bots me politika të veçanta Search, Agent dhe Training, për të gjitha planet, përfshirë Free.

Detaji që zë shumicën e sajteve janë zvarritësit me shumë qëllime. Dokumentacioni i Cloudflare thotë se veprimet e Training zbatohen edhe për zvarritësit që përdoren si për kërkim, ashtu edhe për trajnim. Njoftimi i tij i korrikut 2026 thoshte se nga 15 shtatori 2026, zvarritës shumëqëllimorë si Googlebot, Applebot dhe BingBot do të bllokoheshin për klientët që zgjodhën të bllokojnë Training, qoftë përmes opsioneve të reja, qoftë përmes cilësimit të vjetër Block AI bots. Një refuzim i trajnimit i vendosur një vit më parë mund të arrijë tani pra edhe zvarritësit e kërkimit.

Parazgjedhjet për domenet e reja janë përshkruar ndryshe me kalimin e kohës. I njëjti njoftim thoshte se domenet e reja do të kishin Training dhe Agent të bllokuara në faqet që shfaqin reklama nga 15 shtatori 2026, ndërsa dokumentacioni i politikave i përditësuar më 2 nëntor 2026 thotë se domenet e reja nisin me të trija në Allow. Hapni Security, pastaj Settings, filtroni sipas Bot traffic dhe lexoni AI Crawler and Agent access policies për zonën tuaj. Udhëzuesi ynë për Cloudflare AI Crawl Control shpjegon çdo cilësim.

A po i kap zvarritësit mbrojtja nga botët ose një kufizim kërkesash?

Mbrojtja nga botët e gjykon çdo kërkesë, dhe zvarritësit marrin shumë faqe shpejt nga qendra të dhënash, që është pikërisht ajo që bëjnë botët. Një zvarritës që kaloi muajin e kaluar mund të nisë të marrë faqe sfide pasi operatori i tij ndryshon gamat IP ose shpejtësinë e zvarritjes, ose pasi përditësohen rregullat e mbrojtjes. Bot Fight Mode i Cloudflare është shkak i zakonshëm, dhe Cloudflare thotë se ai nuk mund të anashkalohet ose të kapërcehet me rregulla të personalizuara WAF ose Page Rules, prandaj një rregull lejimi i shtuar më vonë nuk ndihmon sa kohë që është aktiv. Një kufizim i ri kërkesash që u përgjigjet valëve me 429 ka të njëjtin efekt mbi një zvarritës të zënë.

Testoni nga jashtë: kërkoni një faqe si shfletues dhe si dy zvarritës kërkimi AI, pastaj kërkoni robots.txt si zvarritës.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Një 403, 429 ose 503 vetëm për një zvarritës, një faqe me titullin Just a moment..., ose një përmbajtje shumë më e vogël se ajo e shfletuesit do të thotë se zvarritësi trajtohet ndryshe. Testi vjen nga IP-ja juaj, jo nga ajo e ofruesit, prandaj rregullat e bazuara në statusin e botit të verifikuar mund ta trajtojnë zvarritësin e vërtetë ende ndryshe. Log-u i ngjarjeve të firewall-it tregon cili rregull u përgjigj.

A i ka ndryshuar parazgjedhjet ofruesi im i hostingut?

Disa ofrues hostingu e filtrojnë trafikun AI në server, para se të ekzekutohen rregullat tuaja. SiteGround, për shembull, shkroi në gusht 2025 se si parazgjedhje bllokon zvarritësit AI të krijuar për të mbledhur të dhëna trajnimi dhe lejon zvarritësit që vijnë kur një person pyet një asistent AI për një faqe. Rregulla të tilla nuk shfaqen në robots.txt tuaj dhe mund të ndryshojnë kur ofruesi përditëson listat e tij të botëve.

Nëse një bllokim shfaqet njëkohësisht në disa sajte te i njëjti ofrues, ose në përgjigje që nuk arrijnë kurrë në log-et e aplikacionit tuaj, pyesni ofruesin cilat rregulla për botët zbatohen për llogarinë tuaj dhe nëse mund t'i përjashtoni zvarritësit që doni t'i mbani.

A po përgjigjet robots.txt me gabim?

Një robots.txt që dështon mund të bllokojë më shumë se çdo rresht Disallow. Sipas RFC 9309, një përgjigje 4xx do të thotë se një zvarritës mund të marrë gjithçka, por një gabim serveri (5xx) ose mungesa e përgjigjes do të thotë se duhet të supozojë se i gjithë sajti është i ndaluar. Google ndalon zvarritjen për 12 orët e para të gabimeve të tilla dhe pastaj përdor kopjen e fundit të mirë deri në 30 ditë.

Kështu një rritje ngarkese, një rregull firewall-i që i vë sfidë /robots.txt, ose një kufizim kërkesash që e përfshin, mund t'i mbajë jashtë zvarritësit e sjellshëm pa ndryshuar asnjë rregull. Komanda e fundit në testin më lart duhet të kthejë 200 dhe text/plain. Një 5xx, një skadim kohe ose një faqe sfide atje është gjëja e parë që duhet rregulluar.

Si ta gjej kur filloi?

Një datë e kthen një mister në një krahasim. Në log-et e qasjes, filtroni kërkesat nga user agent-ët e zvarritësve AI dhe kërkoni ditën kur kodet e tyre të statusit kaluan nga 200 në 403, 429 ose 503, ose ditën kur pushuan së kërkuari faqe pasi lexuan robots.txt; udhëzuesi ynë për gjetjen e zvarritësve AI në log-et e serverit ka komandat. Kërkesat që bllokoi CDN-ja juaj nuk arrijnë kurrë në serverin origjinal, prandaj kontrolloni edhe CDN-në. Në Cloudflare, AI Crawl Control tregon shpërndarjen e kodeve të statusit në kohë, që mund ta filtroni sipas zvarritësit.

Pastaj vendoseni atë datë përkrah deploy-eve, përditësimeve të plugin-eve dhe temave, ndryshimeve të cilësimeve të CDN dhe njoftimeve të ofruesve. Para se të veproni, konfirmoni që IP-të burimore i përkasin ofruesit, që të shihni zvarritësin e vërtetë dhe jo një mashtrues që përdor emrin e tij.

Si ta kap më herët herën tjetër?

Kontrolloni qasjen pas çdo deploy-i, ndryshimi të CDN dhe përditësimi të plugin-eve, jo vetëm kur bie trafiku. Kontrolli falas i AISeeWhy e kërkon një faqe si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, zbaton robots.txt tuaj për çdo zvarritës dhe i njeh faqet e sfidës të firewall-it. Testuesi falas i robots.txt tregon, për çdo zvarritës, nëse një faqe mund të merret sipas skedarit që është aktiv sot.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

Pse ChatGPT pushoi së shfaquri sajtin tim?

Shpesh sepse OAI-SearchBot, zvarritësi pas kërkimit të ChatGPT, u bllokua nga një ndryshim në robots.txt, një politikë CDN ose mbrojtja nga botët. OpenAI thotë se sajtet që e bllokojnë nuk do të shfaqen në përgjigjet e kërkimit të ChatGPT. Kontrolloni çdo shtresë për atë zvarritës dhe prisni rreth 24 orë pas një rregullimi të robots.txt, që sipas OpenAI është koha që u duhet sistemeve të tij për t'u përshtatur.

A nisi Cloudflare të bllokojë Googlebot në sajtin tim?

Mund të ndodhë. Cloudflare tha se nga 15 shtatori 2026 klientët që bllokojnë Training bllokojnë edhe zvarritës shumëqëllimorë si Googlebot, Applebot dhe BingBot. Dokumentacioni i tij thotë se opsioni Training Disallow i bllokon zvarritësit e trajnimit në edge, por i lë jashtë zvarritësit me përdorim të përzier, prandaj kontrolloni cilin opsion përdor zona juaj.

A mund ta ndryshojë robots.txt për mua një ndërtues sajtesh ose një plugin?

Po. Ndërtuesit e sajteve dhe plugin-et SEO ose të sigurisë mund të shkruajnë rregulla për zvarritësit AI në robots.txt, dhe disa i zgjerojnë listat e tyre të botëve me kohë. Pas çdo përditësimi, merrni skedarin live dhe lexoni grupet që zbatohen për zvarritësit e kërkimit që ju interesojnë.

Pse robots.txt im live ndryshon nga skedari në server?

Diçka para serverit tuaj po e ndryshon. Robots.txt i menaxhuar i Cloudflare, për shembull, vendos rregullat e veta dhe content signals para skedarit tuaj në të njëjtën përgjigje. Edhe një CMS që e gjeneron robots.txt sipas kërkesës, ose një cilësim në nivel hostingu, mund ta zëvendësojë ose ta zgjerojë.

Sa kohë duhet që zvarritësit AI të kthehen pasi ta rregulloj?

RFC 9309 thotë se zvarritësit nuk duhet të përdorin një robots.txt nga cache për më shumë se 24 orë, OpenAI thotë rreth 24 orë dhe Perplexity deri në 24 orë. Ndryshimet në firewall zbatohen sapo ofruesi juaj i vendos, por zvarritësit kthehen sipas orarit të tyre.

Burimet

Më shumë artikuj