Jak povolit SEO crawlerům procházet Shopify bez omezení
Shopify patří mezi nejpoužívanější platformy pro e-shopy a jeho podíl roste i u nás v Česku. Z našeho SEO pohledu má jednu slabinu. Technické audity. Při snaze projít web pomocí crawlerů, jako je Screaming Frog nebo Sitebulb, se často objeví chybová hláška 429 Too Many Requests. Ta blokuje sběr dat a brání v kompletní analýze webu. Crawlovat jste tak museli velmi pomalu kolem 0,7 URL/s. Dobrou zprávou je, že tento problém už má řešení přímo v Shopify. Připravil jsem návod, jak si ji aktivovat
Novinka Web Bot Auth funguje jednoduše. V administraci Shopify si vytvoříte podpis (signature) a ten ověří, že jde o autorizovaný přístup. Tento podpis se pak zadá do crawleru. Nevýhoda? Platnost podpisu je maximálně 90 dnů, takže si rovnou zadejte opakovaný úkol na obnovování. A teď už k samotnému nastavení:
V adminu Shopify běžte do Online Store > Preferences.
Dole najdete blog Crawler Access.
Klikněte na Create new signature.
Vyplňte hodnotu u Signature name, Domain neměňte a Expires in nastavte na 90 dnů.
Vznikne podpis a má tři části:
- Signature
- Signature-Input
- Signature-Agent
První část máte hotovou. Teď musíte s těmito údaji upravit HTTP hlavičku ve vašem oblíbeném crawleru.
Ve Scremaming Frog ji najdete v Configuration – Crawl Config – HTTP Header. Tam vložíte tři nová pole, kde:
- název (Header name) odpovídá názvům z Crawler Access v Shopify (Signature, Signature-Input, Signature-Agent)
- hodnota (Header Value) odpovídá údajům z z Crawler Access
V Sitebulb je postup tento:
Otevřete audit. Jděte do sekce Crawler Settings a pak Custom HTTP Headers. Vložte vlastní hodnoty jakou Screaming Frog, opět tři záznamy:
- název (Header name) odpovídá názvům z Crawler Access v Shopify (Signature, Signature-Input, Signature-Agent)
- hodnota (Header Value) odpovídá údajům z z Crawler Access
A je to. Od teď už nemusíte na data z vlastního eshopu čekat vysoké jednotky hodin či dnů.