Přehled user agentů pro analyzování přístupů na vaše weby.
Marketing nástroje
Obsah
ukázat
Hodně analytických nástrojů má vlastní crawlery. Pokud jejich data nepotřebujete, můžete zvážit jejich blokování v robots.txt. Benefitem je snížení zátěže na serveru.
-
BLEXBot Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
-
SemrushBot Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
-
AhrefsBot Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
-
DotBot Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
-
SEOkicks Mozilla/5.0 (compatible; SEOkicks; +https://www.seokicks.de/robot.html)
Vyhledávače
Různé vyhledávač používají i několik různých crawlerů. Mohou se navíc lišit i IP adresami.
Pozor, na webu mohou běhat i crawlery, které se jako bot vyhledávače deklarují falešně. Ty se dají odlišit podle IP adres.
Bing
-
bingbot Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
-
bingbot Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
-
GoogleBot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
-
GoogleBot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
-
Googlebot Googlebot/2.1 (+http://www.google.com/bot.html)
-
Googlebot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
-
Googlebot User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Seznam
-
Seznambot Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)
-
Seznambot Mozilla/5.0 (compatible; SeznamBot/3.2-test1; +http://napoveda.seznam.cz/en/seznambot-intro/)
-
Mozilla/5.0 (compatible; SeznamBot/3.2-test4; +http://napoveda.seznam.cz/en/seznambot-intro/)
- SeznamReadLaterBot – generje title/perex/obrázek pro funkci Přečíst později v Seznam prohlížeči
Baidu
-
Baiduspider Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Yandex
-
Yandexbot Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)