Seznam blokovaných botů
Postup a doporučení od týmu exon.io.
Na úrovni firewallu automaticky blokujeme vybrané boty (roboty), které zbytečně zatěžují server nebo stahují obsah webu bez omezení. Některé z nich také nerespektují pravidla robots.txt. Takové chování může vést ke zpomalení webu nebo v krajním případě i k jeho dočasné nedostupnosti.
Blokace je nastavena globálně pro ochranu všech hostingů. Pokud ale některého konkrétního bota potřebujete, je možné ho na požádání povolit pro Vaši doménu. Nástroje jako Semrush nebo Ahrefs lze individuálně povolit, ale doporučujeme to pouze v případě, že je aktivně využíváte, jinak mohou zbytečně zatěžovat server.
Legitimní AI boty nijak neblokujeme. Blokováni jsou pouze boti, kteří nerespektují pravidla robots.txt nebo způsobují nadměrné zatížení serverů.
Bot meta-externalagent byl 13. 8. 2026 znovu zablokován po třech týdnech od jeho odblokování. Důvodem je opakované nerespektování rate limitů a HTTP statusu 429, což vede k přetěžování klientských hostingů a výpadkům webů. Za poslední týden jsme evidovali 15 výpadků způsobených nadměrnou aktivitou tohoto bota.
|
SEO a scraping boti
Agresivní crawling, vysoká zátěž AhrefsBot AhrefsSiteAudit SemrushBot serpstatbot DotBot MJ12bot BLEXBot SEOkicks DataForSeoBot Timpibot SeekportBot AI a data mining
Masivní scraping obsahu Bytespider cohere.ai CCBot meta-webindexer Bezpečnostní scannery a technické crawlery
Mapování služeb, technologií a veřejně dostupné infrastruktury CensysInspect ev-crawler Barkrowler AwarioBot SentiBot |
Scraping frameworky
Automatizované nástroje Scrapy heritrix MetadataScraper Regionální vyhledávače
Nízký přínos vs. zátěž Baiduspider YandexBot Sogou PetalBot Ostatní boti
Tracking a utility služby CriteoBot comscore Usercentricsbot Clarity-Bot Brightbot Orbbot IbouBot Dataprovider CMS-Checker CacheWarmerBot carbon umbrella fidget-spinner-bot test-bot Turnitin |
Byla tato odpověď nápomocná?
Vaše odpověď nám pomůže návody dále zlepšovat.