Robots.txt-generator

Vad Robots.txt-generatorn gör

Robots.txt-generatorn skapar den lilla textfil som talar om för sökmotorernas crawlers vilka delar av din webbplats de får och inte får hämta. Utifrån en user-agent-rad, en lista med disallow-sökvägar, en valfri lista med allow-undantag, en valfri crawl-delay och din sitemap-URL sätter den ihop en korrekt formaterad robots.txt som du kan kopiera eller ladda ner. Filen följer Robots Exclusion Protocol, där varje grupp börjar med ett User-agent-direktiv följt av Disallow- och Allow-regler som gäller för den agenten.

Det är den första filen de flesta crawlers hämtar när de besöker en webbplats, så att få den rätt har stor effekt på hur effektivt dina sidor upptäcks. Att blockera områden med lågt värde — interna sökresultat, URL:er med fasettfilter, varukorgs- och kassasidor, adminpaneler — hjälper crawlers att lägga sin budget på det innehåll du faktiskt vill ha indexerat. Att peka ut din sitemap i robots.txt ger dessutom varje crawler en pålitlig karta över dina viktiga URL:er, även sådana som de kanske inte når via interna länkar.

Privat arbetsflöde i webbläsaren

Filen genereras lokalt med JavaScript på klientsidan. Inga av de sökvägar, agentnamn eller sitemap-URL:er du anger laddas upp — resultatet byggs i minnet och erbjuds som ett kopierbart textblock och som nedladdning. Det håller opublicerade katalogstrukturer och staging-URL:er privata medan du förbereder filen.

Praktiska tips

Kom ihåg att Disallow styr crawlning, inte indexering: en blockerad URL kan ändå dyka upp i sökresultaten om andra webbplatser länkar till den, så använd en noindex-metatagg eller en HTTP-header när du verkligen vill hålla en sida utanför resultaten. Blockera aldrig dina CSS- eller JavaScript-kataloger, eftersom sökmotorer behöver dem för att rendera och förstå sidan. Ordningen spelar mindre roll än specificitet — de flesta crawlers följer den längsta matchande regeln — och en tom rad Disallow: betyder ”tillåt allt”. Placera alltid den färdiga filen i domänens rot, testa den i Google Search Consoles robots.txt-testare och kontrollera den igen efter webbplatsmigreringar, eftersom en oavsiktlig Disallow: / döljer hela din webbplats.