Generatore Robots.txt

Cosa fa il Generatore Robots.txt

Il Generatore Robots.txt crea il piccolo file di testo che indica ai crawler dei motori di ricerca quali parti del tuo sito possono o non possono richiedere. A partire da una riga user-agent, un elenco di percorsi disallow, un elenco facoltativo di eccezioni allow, un crawl-delay opzionale e l'URL della tua sitemap, assembla un file robots.txt formattato correttamente che puoi copiare o scaricare. Il file segue il Robots Exclusion Protocol: ogni gruppo inizia con una direttiva User-agent, seguita da regole Disallow e Allow che valgono per quell'agente.

È il primo file che la maggior parte dei crawler richiede quando visita un sito, quindi farlo bene ha un impatto enorme sull'efficienza con cui le tue pagine vengono scoperte. Bloccare le aree di scarso valore — risultati di ricerca interni, URL con filtri a faccette, pagine del carrello e del checkout, pannelli di amministrazione — aiuta i crawler a spendere il proprio budget sui contenuti che vuoi davvero indicizzare. Indicare la sitemap nel robots.txt offre inoltre a ogni crawler una mappa affidabile degli URL importanti, anche di quelli che potrebbero non raggiungere tramite i link interni.

Flusso di lavoro privato, nel browser

Il file viene generato localmente con JavaScript lato client. Nessuno dei percorsi, dei nomi di agente o degli URL della sitemap che inserisci viene caricato: l'output è costruito in memoria e offerto come blocco di testo copiabile e come download. In questo modo strutture di directory non ancora pubblicate e URL di staging restano riservati mentre prepari il file.

Consigli pratici

Ricorda che Disallow controlla la scansione, non l'indicizzazione: un URL bloccato può comunque comparire nei risultati se altri siti lo linkano, quindi usa un meta tag noindex o un'intestazione HTTP quando vuoi davvero escludere una pagina dai risultati. Non bloccare mai le directory CSS o JavaScript, perché i motori di ricerca ne hanno bisogno per visualizzare e comprendere la pagina. L'ordine conta meno della specificità — la maggior parte dei crawler applica la regola corrispondente più lunga — e una riga Disallow: vuota significa «consenti tutto». Posiziona sempre il file finito nella radice del dominio, testalo con il tester robots.txt di Google Search Console e ricontrollalo dopo ogni migrazione del sito, perché un Disallow: / accidentale nasconderà l'intero sito.