SEO ordbog
Crawl budget
Crawl budget er den tid, Google bruger på at hente dine sider. Her er, hvornår det betyder noget, og hvordan du undgår at spilde det.
Hvad er crawl budget?
Crawl budget er den mængde sider, Googlebot henter på dit site inden for en given periode: en praktisk grænse, ikke et tal du kan slå op.
Budgettet opstår af to hensyn: hvor hårdt dit site kan belastes uden at blive langsomt, og hvor meget af sitet Google vurderer er værd at hente. Et stort nyhedssite crawles konstant af Googlebot, et lille håndværkersite måske et par gange om ugen.
Hvad styrer crawl budgettet?
To ting: serverens kapacitet, altså hvor hurtigt og stabilt sitet svarer, og efterspørgslen, altså hvor interessant Google finder siderne.
Svarer serveren hurtigt, henter Googlebot mere; bliver den langsom eller fejler, skruer botten ned for ikke at vælte den. Sider, der opdateres tit, linkes til og klarer sig godt, besøges oftere, mens døde hjørner besøges sjældnere. God crawlability og hurtig svartid trækker derfor samme vej: jo lettere sitet er at hente, desto mere af det bliver hentet.
Hvornår betyder crawl budget noget?
Sjældent under nogle tusinde sider: der når Google det hele. Det bliver et emne, når sitet er stort, eller teknikken producerer uendelige adresser.
Filterkombinationer i en webshop, kalendersider uden ende og interne søgninger med hver sin adresse kan æde besøget, så Googlebot bruger tiden på støj og kommer for sjældent forbi de sider, der betyder noget. Så kan nye sider vente længe på at komme i indekset.
Hvordan bruger du budgettet rigtigt?
Hold sitet rent: bloker de uendelige adresser, luk døde sider ordentligt, ret omdirigeringskæder, og hold sitemappet opdateret.
Bloker støjen i robots.txt, luk døde sider med en rigtig 404 eller en 301 til afløseren, og ret kæder, hvor A peger på B, der peger på C: hvert ekstra hop koster et hent. Lad sitemappet kun vise de rigtige sider, og lad ikke tusind tynde sider konkurrere med de halvtreds vigtige om bottens tid.
Hvordan ser du, hvad Googlebot laver?
I Google Search Consoles crawl-statistik under indstillinger: antal hentninger, svartider og hvilke typer sider botten bruger tiden på.
Kig efter to ting: bruger den tid på adresser, der ikke burde findes, og falder antallet af hentninger sammen med perioder, hvor serveren var langsom? Og hold proportionerne: crawl budget er sjældent grunden til, at en side ikke ranker. Oprydningen er et sundhedstegn, ikke et mål i sig selv: et site, der er let at crawle, er som regel også let at bruge, og det er dét, der i sidste ende belønnes.
Hvad med crawl budget på et lille site?
Glem det stort set: sørg for hurtig server, rene adresser og et opdateret sitemap, så passer budgettet sig selv.
Det lille sites virkelige crawl-problem er som regel en enkelt teknisk fejl: en kalender eller søgefunktion, der pludselig genererer tusind adresser ud af ingenting. Et årligt kig i crawl-statistikken fanger den slags tidligt. Ellers er energien bedre brugt på indholdet og de interne links, der får de vigtige sider til at ligne vigtige sider.
Og skulle statistikken en dag vise et fald uden forklaring, så tjek serverens svartider først: det er den hyppigste årsag og den letteste at gøre noget ved.
