Crawler: vad är en sökrobot som Googlebot?

En crawler, även kallad webbcrawler, sökrobot, bot eller spindel, är ett program som automatiskt besöker webbsidor, läser innehållet och följer länkar vidare till nya sidor. Sökmotorer använder crawlers för att hitta och uppdatera de sidor som finns i deras index. Googles crawler heter Googlebot, och utan ett besök från den kan en sida varken indexeras eller ranka.

Hur arbetar en crawler?

Crawlern börjar med en lista över kända URL:er från tidigare besök, sitemaps och länkar. Innan den hämtar en sida läser den filen robots.txt för att se vad den får göra. Sedan hämtar den HTML-koden, hittar länkar till nya URL:er och ställer dem i kö. Googlebot renderar också sidan med en nyare version av Chrome, så att innehåll som laddas med JavaScript kan ses. Renderingen sker dock ofta senare än själva hämtningen, så viktigt innehåll och viktiga länkar bör stå direkt i HTML-koden.

Hur ofta crawlern kommer tillbaka beror på hur viktig och föränderlig sidan är och hur mycket servern klarar. Det kallas crawl budget. Startsidan på en nyhetssajt besöks många gånger per dygn, medan en gammal undersida på en liten hemsida kan gå veckor mellan besöken.

Crawlern reagerar också på signaler från själva sidan. En canonical-tagg talar om vilken version som är den föredragna, och statuskoder som 301 och 404 talar om ifall sidan har flyttats eller är borta. Svarar servern upprepade gånger med fel i 500-serien sänker Googlebot tempot för att inte belasta den.

Googlebot och de andra crawlerna

Googlebot finns i två versioner, en för smartphone och en för dator. Efter övergången till mobile first-indexering crawlar Google de allra flesta sajter med smartphoneversionen. Bing har Bingbot, och SEO-verktyg som Ahrefs och Semrush har egna crawlers som bygger länkdatabaser. AI-företag har också crawlers, till exempel GPTBot från OpenAI, ClaudeBot från Anthropic och PerplexityBot. Med robots.txt kan du styra var och en för sig. Google-Extended är ett särskilt namn i robots.txt som styr om ditt innehåll får användas till Googles AI-modeller. Det påverkar varken Googlebot eller din synlighet i Google-sökningen.

Många bots utger sig för att vara Googlebot. Vill du vara säker kan du slå upp IP-adressen med en omvänd DNS-uppslagning. Äkta Googlebot kommer från Googles egna domäner, till exempel googlebot.com.

Så gör du det lätt för crawlern

Se till att alla viktiga sidor kan nås via vanliga interna länkar med en href-adress. Länkar som bara fungerar via ett JavaScript-klick kan crawlern ha svårt att följa. Skicka in en XML-sitemap, håll servern snabb och undvik att blockera CSS- och JavaScript-filer som sidan behöver för att renderas. Långa kedjor av omdirigeringar gör crawlingen långsammare, så peka alltid direkt på den slutliga adressen. Rapporten Crawlstatistik i Search Console visar hur många förfrågningar Googlebot skickar, hur snabbt servern svarar och vilka fel crawlern möter. Läs hur du hittar i rapporterna i vår guide till Google Search Console.

Frågor om Crawler

Vad är en crawler?

En crawler är ett program som automatiskt hämtar webbsidor, läser innehållet och följer länkar till nya sidor. Sökmotorer som Google och Bing använder crawlers för att hitta och uppdatera innehåll. Även SEO-verktyg och AI-tjänster har egna crawlers. På svenska kallas de också sökrobotar eller spindlar.

Vad är Googlebot?

Googlebot är Googles crawler. Den finns i en version för smartphone och en för dator, och efter mobile first-indexeringen använder Google mest smartphoneversionen. Googlebot hämtar sidorna, renderar dem med Chrome och skickar innehållet vidare till indexering. Du kan följa dess besök i rapporten Crawlstatistik i Search Console.

Vad är skillnaden mellan crawling och indexering?

Crawling är när crawlern hämtar sidan. Indexering är när Google analyserar innehållet och sparar sidan i sitt index, så att den kan visas i sökresultaten. En sida kan mycket väl crawlas utan att indexeras, till exempel om den har noindex, är en dubblett eller bedöms ha för lite värde.

Kan jag blockera AI-crawlers?

Ja. I robots.txt kan du blockera enskilda AI-crawlers med namn, till exempel GPTBot eller ClaudeBot, och du kan använda Google-Extended för att välja bort användning i Googles AI-modeller. Tänk dock igenom det noga. Blockerar du de crawlers som används för AI-sök kan du bli mindre synlig i AI-svar.

Crawler