Robots.txt

Robots.txt är det första en väluppfostrad crawler letar efter när den besöker en domän. Filen ligger alltid på samma adress, till exempel https://www.dindoman.se/robots.txt, och gäller bara för exakt den domän där den ligger. En subdomän som shop.dindoman.se ska ha en egen fil. Reglerna kallas robots exclusion protocol och blev en officiell internetstandard 2022.

Så är en robots.txt-fil uppbyggd

Filen består av grupper. Varje grupp börjar med User-agent, som anger vilken crawler reglerna gäller för, och fortsätter med rader med Disallow eller Allow. En asterisk betyder alla crawlare. Sist kan du ange adressen till din XML-sitemap med Sitemap:.

• Disallow: /kassa/ ber crawlarna att hålla sig borta från allt under /kassa/.
• Allow: öppnar för en undermapp i en annars blockerad mapp.
• * matchar valfri text, och $ markerar slutet på en adress.
• När två regler krockar vinner den mest specifika, alltså den längsta sökvägen.

Google ignorerar crawl-delay och har sedan 2019 ignorerat noindex-rader i robots.txt. Filen får vara högst 500 KiB, och allt utöver det ignoreras.

Vad bör du blockera?

Blockera de områden där crawlarna slösar tid utan att hitta något användbart: varukorg och kassa, interna sökresultat, oändliga kombinationer av filter och sortering i en webbutik och adresser med spårningsparametrar. Det frigör crawlbudget till de sidor som ska ranka. Blockera aldrig CSS- och JavaScript-filer som Google behöver för att återge sidan korrekt.

Robots.txt skyddar mot crawling, inte mot indexering

Det vanligaste missförståndet är att robots.txt håller sidor borta från Google. Filen stoppar bara crawlingen. Länkar andra sidor till en blockerad adress kan Google ändå visa den i sökresultaten, bara utan beskrivning. Ska en sida helt bort från indexet behöver du noindex, och då måste sidan gå att crawla. Känsliga data skyddas med inloggning, eftersom robots.txt är offentlig och kan läsas av alla.

Robots.txt och AI-crawlare

Många vill i dag styra om deras innehåll används av AI-tjänster. Det görs med egna grupper för crawlare som GPTBot från OpenAI, ClaudeBot från Anthropic, PerplexityBot och CCBot. Google använder token Google-Extended för att styra användningen i Gemini, och det påverkar inte din synlighet i Google Sök. Tänk igenom valet noga: blockerar du AI-crawlare kan ditt innehåll också få svårare att bli citerat i AI-svar.

Testa filen innan du sparar

En enda felaktig rad, till exempel Disallow: / under User-agent: *, blockerar hela sajten. Det händer oftast när en testmiljö går live med filen från utvecklingen. Search Console har en robots.txt-rapport som visar vilken version Google har hämtat och om det finns fel. I Shopify redigeras filen via mallen robots.txt.liquid, som vi beskriver i vår guide till Shopify SEO.