Crawl budget je množina URL, ktoré Googlebot na vašom webe dokáže a chce prehľadať. Google ho podľa vlastnej dokumentácie určuje z dvoch vecí: koľko požiadaviek zvládne váš server a ako veľmi Google o vaše stránky stojí. Pre väčšinu slovenských webov je crawl budget téma na prednášku, nie na riešenie. Pre e-shopy s filtrami, weby s inzerciou a veľké katalógy je to naopak jeden z najčastejších dôvodov, prečo nové produkty nie sú v Google.
Na konzultáciách počúvam „máme problém s crawl budgetom“ od webov s tristo stránkami. Nemajú. Majú iný problém a crawl budget je len pekne znejúca výhovorka.
Stručne
- Crawl budget = limit kapacity prehľadávania + dopyt po prehľadávaní.
- Google ho odporúča riešiť webom s 1 000 000+ stránkami s týždennými zmenami, 10 000+ stránkami s dennými zmenami alebo s veľkým podielom URL v stave Objavené – momentálne neindexované.
- Najväčší žrút crawl budgetu na slovenských e-shopoch sú filtre, parametre a interné vyhľadávanie.
- Noindex ani canonical crawl budget nešetria, robots.txt áno.
- Pravdu ukáže access log, nie odhad.
Čo hovorí Google
Google má k téme samostatnú príručku pre veľké weby. Hneď na začiatku píše, že ak váš web nemá veľké množstvo rýchlo sa meniacich stránok, alebo ak sa nové stránky prehľadajú ešte v deň publikovania, príručku nepotrebujete. Stačí aktuálna sitemapa a pravidelná kontrola indexácie.
Crawl budget podľa Google tvoria dve zložky. Limit kapacity prehľadávania hovorí, koľko súbežných požiadaviek Googlebot pošle bez toho, aby preťažil server. Ak server odpovedá pomaly alebo vracia chyby, Google spomalí. Dopyt po prehľadávaní hovorí, ako veľmi Google chce vaše stránky prehľadávať: podľa ich popularity, čerstvosti a toho, koľko URL o webe pozná. Aj keď server zvládne viac, pri nízkom dopyte Google chodí menej.
Kedy je crawl budget skutočný problém
| Typ webu | Riešiť crawl budget? | Prečo |
|---|---|---|
| Firemný web, blog do 1 000 stránok | nie | Google ho prehľadá celý bez problémov |
| E-shop bez filtrov v URL | zvyčajne nie | počet URL je blízky počtu produktov a kategórií |
| E-shop s filtrami a parametrami | áno, skontrolovať | kombinácie filtrov vyrábajú tisíce až milióny URL |
| Inzercia, autobazár, reality | áno | ponuka sa mení denne a staré inzeráty zostávajú |
| Spravodajstvo, veľké magazíny | áno | nové stránky treba prehľadať rýchlo |
| Web po migrácii | dočasne áno | Google musí prejsť staré aj nové URL a presmerovania |
Ako crawl budget zisťujem ja
- Search Console, štatistiky prehľadávania. V nastaveniach Search Console nájdete počet požiadaviek za deň, priemerný čas odozvy a rozdelenie podľa typu súborov a odpovedí. Ak čas odozvy rastie a počet požiadaviek klesá, server je brzda.
- Prehľad Stránky. Stav „Objavené – momentálne neindexované“ znamená, že Google o URL vie, ale ešte ju neprehľadal. Ak je tam tisíce dôležitých URL, máte problém.
- Access log. Toto je najdôležitejší krok a väčšina SEO auditov ho vynecháva. V access logu vidíte, na ktoré URL Googlebot reálne chodí. Ak je polovica požiadaviek na kombinácie filtrov a interné vyhľadávanie, viete presne, kde budget mizne.
- Porovnanie s tým, čo chcete mať v indexe. Počet produktov a kategórií oproti počtu URL, ktoré Google prehľadáva. Veľký rozdiel je odpoveď.
Najčastejší žrúti crawl budgetu
- Filtre a triedenie v URL. Farba, veľkosť, cena, značka, zoradenie, a každá kombinácia je nová adresa.
- Interné vyhľadávanie. Stránky výsledkov vyhľadávania nemajú v Google čo robiť. Postup, ako ich zablokovať, je v článku o výsledkoch interného vyhľadávania.
- Parametre z kampaní a session ID, ktoré sa dostanú do interných odkazov.
- Reťazce presmerovaní po viacerých migráciách.
- Soft 404 a vypredané produkty, ktoré vracajú 200 a Google ich prehľadáva stále dookola.
- Pomalý server. Google pri ňom znižuje počet požiadaviek, takže sa prehľadá menej, aj keď je všetko ostatné v poriadku.
- AI roboty bez kontroly. Nezaberajú crawl budget Googlu, ale zaťažujú server. Ak server spomalí, Google spomalí tiež.
Príklad z praxe
Pri e-shopoch na WooCommerce je najčastejší scenár takýto: e-shop má 5000 produktov, ale Googlebot za mesiac prejde 800 rôznych URL, z ktorých väčšina sú kombinácie filtrov. Nové produkty sa dostávajú do indexu s oneskorením a kategórie sa prehľadávajú zriedka.
Z praxe mám aj opačné prípady. Klient presvedčený o probléme s crawl budgetom mal v skutočnosti web, ktorý Google nevedel správne indexovať kvôli technickým chybám. Po ich oprave v prvom mesiaci a dvoch či troch článkoch prišli výsledky už po prvom mesiaci. Crawl budget s tým nemal nič spoločné.
Čo opraviť
- Robots.txt na kombinácie filtrov a interné vyhľadávanie. Nechajte prehľadávať len filtre, ktoré majú hodnotu ako vstupné stránky.
- Nepoužívajte noindex na šetrenie crawl budgetu. Google to vo svojej dokumentácii výslovne nedoporučuje, lebo stránku aj tak musí stiahnuť.
- Odstráňte reťazce presmerovaní a vnútorné odkazy na presmerované URL.
- Vypredané produkty riešte presmerovaním alebo správnym stavovým kódom, nie prázdnou stránkou s kódom 200.
- Udržujte sitemapu čistú: len indexovateľné URL s kódom 200 a správnym lastmod.
- Zrýchlite server. Nejde o PageSpeed skóre, ale o čas odozvy servera. Prečo to nie je to isté, píšem v článku o rýchlosti webu a SEO.
- Posilnite interné prelinkovanie na stránky, ktoré chcete mať prehľadávané často. Postup je v článku o internom prelinkovaní.
Pri e-shopoch je toto len jedna časť. Ďalšie rozdiely oproti webom so službami rozoberám v článku SEO pre e-shop a Shoptet.
Nie ste si istí, či vás crawl budget brzdí?
Pri SEO audite (480 €, 10 hodín práce) prejdem štatistiky prehľadávania, prehľad indexácie aj access log a dostanete zoznam URL, ktoré Googlebot zbytočne navštevuje, aj presné pravidlá do robots.txt. Na jednu otázku stačí SEO konzultácia za 350 € na hodinu. A ak máte e-shop, na ktorom chcete technické SEO riešiť priebežne, pozrite si SEO služby od 480 € mesačne.
Článok napísal RNDr. Milan Fraňo, PhD., SEO špecialista a HEAD of SEO vo WooAcademy. Veľkú časť mojich klientov tvoria e-shopy na WooCommerce, takže filtre a parametre riešim takmer každý týždeň.
Časté otázky
Čo je crawl budget?
Crawl budget je množina URL, ktoré Googlebot na vašom webe dokáže a chce prehľadať. Podľa Google ho určujú dve veci: limit kapacity prehľadávania (čo zvládne server) a dopyt po prehľadávaní (ako veľmi Google o vaše stránky stojí).
Musím riešiť crawl budget?
Podľa Google hlavne veľké weby s viac ako miliónom stránok, ktoré sa menia týždenne, weby s viac ako 10 000 stránkami, ktoré sa menia denne, a weby s veľkým podielom URL v stave Objavené – momentálne neindexované. Malý web s pár stovkami stránok ho riešiť nemusí.
Ako zistím, či mám problém s crawl budgetom?
V Search Console pozrite štatistiky prehľadávania a prehľad Stránky, najmä stav Objavené – momentálne neindexované. Najpresnejší obraz dá access log servera, kde vidíte, na ktoré URL Googlebot reálne chodí.
Ušetrí noindex crawl budget?
Nie. Google musí stránku stiahnuť, aby noindex videl. Ak nechcete, aby Googlebot URL prehľadával, použite robots.txt. Noindex rieši indexáciu, nie prehľadávanie.
Spôsobujú crawl problémy filtre na e-shope?
Často áno. Kombinácie filtrov, triedenia a parametrov vedia z e-shopu s tisíckou produktov vyrobiť milióny URL. Googlebot potom chodí po kombináciách filtrov namiesto produktov a kategórií.
