Kdy se Google rozhodne, že bude váš web procházet víc?
Google upravil dokumentaci k procházení webu crawlery a přidal do ní větu, která si podle mě zaslouží víc pozornosti, než dostala:
„Každý web začíná se stejným výchozím, konzervativním limitem kapacity procházení.“
Na začátku jsou si tedy všechny weby rovny. Nikdo nedostane přednost za značku, za stáří domény ani za to, že má hezký design. Zajímavější je druhá otázka: co přiměje Google, aby se právě tomu vašemu věnoval víc? Google jmenuje tři oblasti. Ta nejtěžší je až na konci.
Dlouhodobě rychlá odezva serveru
Čím rychleji Googlebot stáhne zdrojový kód jedné URL, tím víc jich ve svém limitu stáhne celkově. Tohle funguje okamžitě a v obou směrech. Když web zrychlí, Googlebot přidá. Když zpomalí, ubere.
Za SEO tedy chceme po vývoji jedinou věc: aby počet milisekund na stažení jedné URL byl trvale co nejnižší. Nejde o jednorázové zrychlení po optimalizaci. Zajímá nás hodnota, kterou web udrží měsíce.
Čím větší web, tím kritičtější to je. U pěti set URL rozdíl mezi 200 a 600 ms nepoznáte. U webu s milionem URL rozhoduje o tom, jestli se Google dostane k novým stránkám za týden, nebo za půl roku.
Dobrá zpráva je, že tohle si můžete ověřit. V Search Console máte report Statistiky procházení, kde vidíte průměrnou dobu odezvy i počet požadavků za den. Když vývojáři nasadí zlepšení, obě křivky na sebe reagují během několika dní.
Duplicitní obsah a URL, po kterých není poptávka
Nenuťte Googlebota procházet řazení produktů, kombinace filtrů a parametrické URL, pro které neexistuje žádná organická poptávka. Každý takový požadavek jde z limitu, který byste radši utratili za kategorie, produkty a články.
Tahle oblast je ve skutečnosti širší, ale většinou má snadné řešení přes robots.txt. Horší bývá případ, kdy filtrace generuje kombinace, na které zároveň míří interní odkazy. Pak Googlebot dostává jasný signál, že tudy má chodit, a poslušně to dělá.
Populární URL, tedy odkazy
A teď to hlavní. Cituju:
„URL, které jsou na internetu více populární, mají tendenci být častěji procházeny.“
Co to asi tak znamená? Kromě samotného výkonu ve vyhledávání, kde stojí za to mrknout bokem na to, jak funguje NavBoost, to podle mě jasně musejí být odkazy. Starší analýzy korelaci mezi počtem externích odkazů a frekvencí návštěv Googlebota opakovaně ukazovaly a s mojí praxí to sedí.
Dává to smysl i prostou úvahou. Jestli na něco odkazuje hodně dalších webů, asi bych o tom jako Google chtěl vědět dřív než o zbytku internetu.
Z toho plyne poznámka, která se dnes hodí připomínat. I když pro viditelnost v AI odpovídačích odkazy přímo nic neznamenají, nepřímo mají pořád velkou roli. Do žádné vygenerované odpovědi se nedostanete dřív, než vás Google projde a zaindexuje. A o tom, jak rychle se to stane, odkazy spolurozhodují.
Co z toho plyne pro velké weby
Schválně si zkuste pustit opravdu velký web, řekněme kolem milionu URL a víc, a jen tak čekat, kdy ho Google začne indexovat. Šance jsou velké, že se nedočkáte v měřítku, které by mělo byznysový význam.
Pořadí prací, které se mi na takových projektech osvědčilo:
- Osekání zbytečných URL. Filtrace, řazení, parametry, interní vyhledávání. Limit chcete utratit za stránky s poptávkou.
- Odezva serveru. Je to jediná ze tří oblastí, kde má SEO okamžitou a měřitelnou zpětnou vazbu.
- Odkazy a interní prolinkování na klíčové sekce. Nejpomalejší a nejdražší část. Výsledky přijdou v řádu měsíců.
Poslední bod bývá u velkých webů zároveň ten nejvíc podceňovaný. Firma investuje do generování statisíců URL a pak se diví, že o nich Google nechce vědět.
Závěr
Kapacita procházení se nezvyšuje žádostí ani přepínačem v Search Console. Zvyšuje se tím, že web dlouhodobě rychle odpovídá, nenabízí crawlerům balast a má důvod, proč by ho měl někdo navštěvovat častěji než konkurenci.