Přehled user agentů pro analyzování přístupů na vaše weby.

Marketing nástroje

Hodně analytických nástrojů má vlastní crawlery. Pokud jejich data nepotřebujete, můžete zvážit jejich blokování v robots.txt. Benefitem je snížení zátěže na serveru.

Vyhledávače

Různé vyhledávač používají i několik různých crawlerů. Mohou se navíc lišit i IP adresami.

Pozor, na webu mohou běhat i crawlery, které se jako bot vyhledávače deklarují falešně. Ty se dají odlišit podle IP adres.

Bing

Google

Seznam

Baidu

Yandex