User agents pro analýzu access logů
Přehled user agentů pro analyzování přístupů na vaše weby.
Marketing nástroje
Hodně analytických nástrojů má vlastní crawlery. Pokud jejich data nepotřebujete, můžete zvážit jejich blokování v robots.txt. Benefitem je snížení zátěže na serveru.
-
BLEXBot Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
-
SemrushBot Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
-
AhrefsBot Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
-
DotBot Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
-
SEOkicks Mozilla/5.0 (compatible; SEOkicks; +https://www.seokicks.de/robot.html)
Vyhledávače
Různé vyhledávač používají i několik různých crawlerů. Mohou se navíc lišit i IP adresami.
Pozor, na webu mohou běhat i crawlery, které se jako bot vyhledávače deklarují falešně. Ty se dají odlišit podle IP adres.
Bing
-
bingbot Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
-
bingbot Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
-
GoogleBot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
-
GoogleBot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
-
Googlebot Googlebot/2.1 (+http://www.google.com/bot.html)
-
Googlebot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
-
Googlebot User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Seznam
-
Seznambot Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)
-
Seznambot Mozilla/5.0 (compatible; SeznamBot/3.2-test1; +http://napoveda.seznam.cz/en/seznambot-intro/)
-
Mozilla/5.0 (compatible; SeznamBot/3.2-test4; +http://napoveda.seznam.cz/en/seznambot-intro/)
- SeznamReadLaterBot – generje title/perex/obrázek pro funkci Přečíst později v Seznam prohlížeči
Baidu
-
Baiduspider Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Yandex
-
Yandexbot Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)