SEO ordbog
Robots.txt
Robots.txt er den lille tekstfil, der fortæller søgemaskinernes robotter, hvor de må gå. Den er nem at skrive og endnu nemmere at ødelægge alt med.
Hvad er robots.txt?
Robots.txt er en tekstfil i roden af dit domæne, der giver crawlere regler for, hvilke dele af sitet de må hente.
Den ligger altid samme sted, ditdomæne.dk/robots.txt, og læses af Googlebot og alle andre velopdragne robotter, før de crawler. Reglerne er simple linjer: User-agent: * siger hvem, Disallow: /soeg/ siger hvad, og en henvisning til dit sitemap viser vejen til det, der gerne må findes.
Hvad bruger man robots.txt til?
Til at holde robotterne fra det, der ikke er værd at crawle: interne søgninger, filtre, kurve og tekniske områder.
Det er først og fremmest et crawl budget-værktøj: uendelige filterkombinationer og søgeresultater kan æde robotternes tid, og en Disallow-linje lukker hullet. Flere bruger den også til at afvise bestemte AI-crawlere, der samler træningsdata; det virker kun over for de robotter, der frivilligt følger reglerne, men de store gør.
Hvad kan robots.txt ikke?
Den forhindrer crawling, ikke indeksering: en blokeret side kan stadig ende i Google som en tom adresse, fundet gennem links.
Det er den klassiske forveksling: skal en side ud af søgeresultaterne, er værktøjet noindex, og så skal siden netop IKKE være blokeret i robots.txt, for ellers kan Google ikke se beskeden. Robots.txt er heller ikke sikkerhed: filen er offentlig, og en Disallow-linje er nærmest et skilt, der viser nysgerrige, hvor det interessante ligger. Følsomt indhold skal beskyttes med adgangskode, ikke med en tekstfil.
Hvilke robots.txt-fejl er de farligste?
Én linje topper listen: Disallow: / fra udviklingsfasen, der blokerer hele sitet og bliver glemt ved lanceringen.
Den slukker synligheden lige så effektivt som en glemt noindex, og lige så lydløst. Nummer to er at blokere CSS- og JavaScript-mapper: så kan Google ikke tegne siderne og bedømmer dem i blinde. Og nummer tre er at blokere sider, der skal have noindex, så beskeden aldrig bliver læst. Tjek altid filen efter en lancering eller et redesign; det tager tredive sekunder.
Hvordan tjekker du din robots.txt?
Åbn ditdomæne.dk/robots.txt i browseren, og læs den med friske øjne: kan du forklare hver linje, og er der linjer, du ikke kan?
Google Search Console har en robots.txt-rapport, der viser, hvad Google har hentet, og om filen har fejl, og dens URL-inspektion afslører, om en bestemt side er blokeret. God crawlability starter her: de fleste sites skal bare bruge en kort, kedelig fil, og kedelig er præcis, hvad den skal være.
Hvad skal der stå i en almindelig robots.txt?
Næsten ingenting: tillad alt, bloker interne søgninger og filtre, og peg på sitemappet. Tre til fem linjer dækker de fleste sites.
En typisk fil siger User-agent: * uden Disallow-linjer ud over søge- og filterstierne, plus en Sitemap-linje med den fulde adresse. WordPress genererer selv en fornuftig standard, som de fleste aldrig behøver røre. Lad være med at kopiere fremmede sites’ filer: deres blokeringer passer til deres teknik, og en lånt Disallow-linje kan lukke for noget, dit site faktisk lever af. Skriv kun regler, du selv kan forklare.
