Crawling

Crawling er det første, der sker, før en side overhovedet kan findes i Google. Her er, hvad robotten laver, og hvordan du giver den fri bane.

Hvad er crawling?

Crawling er, når en søgemaskines robot henter dine sider, læser dem og følger links videre til nye sider. Det er sådan, Google opdager, hvad der findes på nettet.

Robotten, som hos Google hedder Googlebot, starter fra kendte adresser og links og arbejder sig gennem sitet side for side. Alt, den finder, kan bagefter blive indekseret og vist i søgeresultaterne. Alt, den ikke finder, findes for Google ikke. Crawling er derfor ikke en teknisk detalje, men forudsætningen for al anden SEO.

Hvad er forskellen på crawling og indeksering?

Crawling er at hente siden. Indeksering er at gemme den i Googles register, så den kan vises. En side kan blive crawlet uden at blive indekseret.

Google henter flere sider, end den gemmer. En side, der er tynd, en kopi af en anden eller sat til noindex, kan sagtens være crawlet og alligevel aldrig dukke op i et søgeresultat. Så når en side mangler i Google, er det første spørgsmål, om robotten overhovedet har været forbi, og det andet, om den valgte at beholde den.

Hvordan crawler Google dit site?

Google følger links. Den kommer ind via sitemappet og eksterne links, læser siden, noterer alle links på den og sætter dem i kø til næste besøg.

Jo flere veje der fører til en side, jo hurtigere finder robotten den. Derfor betyder interne links så meget: en side, ingen andre sider linker til, er en forældreløs side, som Google kun finder, hvis den står i sitemappet. Store sites får desuden tildelt et crawl budget, et loft over, hvor mange sider robotten henter i en periode, men for en almindelig virksomheds site på under tusind sider er det sjældent det, der er problemet.

Hvad bremser crawling?

Langsomme svar, blokeringer i robots.txt, sider bag login, brudte links og sider, der kun kan læses med JavaScript, som robotten ikke får kørt.

Den mest almindelige fejl er en robots.txt, der ved et uheld spærrer for mere, end den skulle, fx efter en flytning fra et testmiljø. Den næstmest almindelige er et site, der svarer så langsomt, at robotten giver op undervejs. Crawlability er ordet for, hvor let et site er at komme igennem, og det er værd at tjekke, før man bruger penge på indhold, robotten aldrig får læst.

Hvordan ser du, om Google crawler dit site?

I Google Search Console under Indstillinger finder du crawl-statistik: hvor mange sider Google henter, hvor hurtigt de svarer, og hvilke fejl den møder.

Search Console er gratis og viser det hele. Kig efter to ting: at antallet af hentede sider ikke falder pludseligt, og at svartiden ikke stiger. Under Sider ser du desuden, hvilke adresser der er fundet, men ikke indekseret, og hvorfor. Det er den liste, en tekniker starter med, når et site »ikke kan findes på Google«.

Hvordan hjælper du robotten på vej?

Hold et opdateret sitemap, link til alle vigtige sider fra menuen eller andre sider, ret brudte links, og lad være med at spærre for noget, du gerne vil have vist.

Det lyder simpelt, og det er det også. En lille virksomheds site skal ikke bruge avancerede greb, det skal bare være ryddeligt: én adresse pr. side, links der virker, en sitemap-fil, der bliver opdateret, når du udgiver noget nyt, og en server, der svarer hurtigt. Så kommer robotten forbi, læser det hele og kommer igen, når du ændrer noget.

Få hjælp med den tekniske SEO bag crawling.