AI crawleři a renderování JavaScriptu

Tohle jejich crawleři většiny LLM služeb ještě nezvládají. Může to poškodit váš web, jestli špatně využíváte moderní technologie.

Začnu mírně zeširoka. Každá z populárních AI služeb má svého crawlera:

• OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot)
• Anthropic (ClaudeBot)
• Meta (Meta-ExternalAgent)
• ByteDance (Bytespider)
• Perplexity (PerplexityBot

Všichni umějí navštívit obsah vaší URL, pokud jim to nezakážete. Proto umějí použít váš obsah do svých odpovědí a případně přidat i odkaz na zdroj.

A teď ta horší část.

Jestli váš web používá v nějaké části JavaScript (JS), který se renderuje až u klienta (pro laiky = v prohlížeči, ne serveru, kde máte web), jste v pytli.

Podle studie Vercelu totiž všichni výše uvedení sice JS obsah stáhnout, ale neumějí ho vykreslit. Ergo pro ně neexistuje.

My v SEO jsme proti CSR – tak se říká obsahu vykresleném v klientovi – celá léta. A teď proti němu můžete být i vy díky AI.

Proč to tak je? Renderovat obsah tvořený JavaScriptem je výkonově náročnější, než si jen “vcucnout” hotový kód. Stojí to peníze a má to zpoždění.

Takže smrt CSR! Pokud chcete mít obsah dostupný v odpovědích LLM.