Robots.txt Generator

Wat de Robots.txt Generator doet

De Robots.txt Generator maakt het kleine tekstbestand dat zoekmachinecrawlers vertelt welke delen van je site ze wel en niet mogen opvragen. Op basis van een user-agent-regel, een lijst met disallow-paden, een optionele lijst met allow-uitzonderingen, een optionele crawl-delay en de URL van je sitemap stelt hij een correct opgemaakt robots.txt samen dat je kunt kopiëren of downloaden. Het bestand volgt het Robots Exclusion Protocol: elke groep begint met een User-agent-instructie, gevolgd door Disallow- en Allow-regels die voor die agent gelden.

Dit is het eerste bestand dat de meeste crawlers ophalen wanneer ze een site bezoeken, dus een goede configuratie heeft een grote invloed op hoe efficiënt je pagina's worden ontdekt. Het blokkeren van gebieden met weinig waarde — interne zoekresultaten, URL's met facetfilters, winkelwagen- en afrekenpagina's, beheerpanelen — helpt crawlers hun budget te besteden aan de content die je echt geïndexeerd wilt hebben. Door in robots.txt naar je sitemap te verwijzen, krijgt elke crawler bovendien een betrouwbare kaart van je belangrijke URL's, ook van pagina's die ze via interne links misschien niet bereiken.

Privé werken in je browser

Het bestand wordt lokaal gegenereerd met JavaScript aan de clientzijde. Geen van de paden, agentnamen of sitemap-URL's die je invoert wordt geüpload — de uitvoer wordt in het geheugen opgebouwd en aangeboden als kopieerbaar tekstblok en als download. Zo blijven onuitgebrachte mapstructuren en staging-URL's privé terwijl je het bestand voorbereidt.

Praktische tips

Onthoud dat Disallow het crawlen regelt, niet het indexeren: een geblokkeerde URL kan nog steeds in zoekresultaten verschijnen als andere sites ernaar linken. Gebruik dus een noindex-metatag of HTTP-header als je een pagina echt uit de resultaten wilt houden. Blokkeer nooit je CSS- of JavaScript-mappen, omdat zoekmachines die nodig hebben om de pagina weer te geven en te begrijpen. Volgorde is minder belangrijk dan specificiteit — de meeste crawlers hanteren de langste overeenkomende regel — en een lege regel Disallow: betekent „alles toestaan”. Plaats het voltooide bestand altijd in de root van je domein, test het in de robots.txt-tester van Google Search Console en controleer het opnieuw na sitemigraties, want een onbedoelde Disallow: / verbergt je hele site.