Proč je na hostingu blokován Ahrefs bot?

Na našem hostingu je přístup pro Ahrefs bota ve výchozím stavu blokován.
Důvodem je skutečnost, že tento crawler často navštěvuje nadměrné množství stránek, a to i u domén, které jeho majitelé vůbec nevyužívají. Takové chování pak zbytečně zatěžuje servery a spotřebovává prostředky klientů, což může mít negativní vliv na výkon i stabilitu hostingu.

Blokování se v praxi projeví chybou 403 – Forbidden, pokud se Ahrefs pokusí stránky načíst.

Co dělat, pokud Ahrefs potřebujete?

Pokud službu Ahrefs aktivně využíváte a chcete, aby jejich bot měl k Vašim stránkám přístup, stačí:

1. Kontaktovat naši technickou podporu.

2. Uvést seznam domén, u kterých si přejete Ahrefs povolit.

Naše podpora pak zajistí výjimku a Ahrefs bude moci Vaše weby indexovat.