Crawl budget

Crawl budget, även skrivet crawlbudget, är den mängd sidor som Googlebot hämtar från din sajt under en period. Google beskriver det som en kombination av två saker: hur mycket din server klarar utan att bli långsam, och hur stor efterfrågan är på ditt innehåll. Populära sidor som ändras ofta crawlas oftare än sidor som ingen länkar till.

När ska du tänka på crawl budget?

För de flesta svenska hemsidor är det ingen flaskhals. Google skriver själv att ämnet främst gäller sajter med över en miljon sidor och sajter med över 10 000 sidor som ändras dagligen. En webbutik med filter kan dock snabbt skapa tiotusentals URL:er. Visar rapporten om sidindexering i Search Console många sidor med statusen "Upptäckt, inte indexerad för närvarande" kan det vara ett tecken.

Serverns svarstid räknas också. Svarar servern långsamt eller med fel i 500-serien sänker Googlebot tempot för att inte belasta den. En snabb och stabil server ger utrymme för mer crawl, medan en sajt med många fel besöks mer sällan.

Så undviker du slöseri

Blockera filter- och sorteringsparametrar, interna söksidor och andra oändliga URL-kombinationer i robots.txt. Låt raderade sidor svara med 404 eller 410, och ta bort kedjor av omdirigeringar. Håll din XML-sitemap ren, så att den bara innehåller sidor som du vill ha indexerade. Noindex sparar inte crawlbudget, eftersom Google ändå måste hämta sidan för att se taggen. Följ utvecklingen i rapporten Crawlstatistik under Inställningar i Search Console. Döda länkar kostar också crawl, och dem går vi igenom i artikeln om döda länkar.