Générateur de Robots.txt

À quoi sert le Générateur de Robots.txt

Le Générateur de Robots.txt crée le petit fichier texte qui indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou non consulter. À partir d'une ligne user-agent, d'une liste de chemins disallow, d'une liste facultative d'exceptions allow, d'un crawl-delay optionnel et de l'URL de votre sitemap, il assemble un fichier robots.txt correctement formaté que vous pouvez copier ou télécharger. Le fichier suit le protocole d'exclusion des robots : chaque groupe commence par une directive User-agent, suivie de règles Disallow et Allow qui s'appliquent à cet agent.

C'est le premier fichier que la plupart des robots récupèrent lorsqu'ils visitent un site ; bien le configurer a donc un effet considérable sur l'efficacité avec laquelle vos pages sont découvertes. Bloquer les zones sans valeur — résultats de recherche interne, URL de filtres à facettes, pages de panier et de paiement, panneaux d'administration — aide les robots à consacrer leur budget aux contenus que vous souhaitez réellement indexer. Indiquer votre sitemap dans le robots.txt donne aussi à chaque robot une carte fiable de vos URL importantes, même celles qu'il ne pourrait pas atteindre via les liens internes.

Un flux de travail privé, dans le navigateur

Le fichier est généré localement avec du JavaScript côté client. Aucun des chemins, noms d'agent ou URL de sitemap que vous saisissez n'est envoyé : le résultat est construit en mémoire et proposé sous forme de bloc de texte copiable et de téléchargement. Vos arborescences non publiées et vos URL de préproduction restent ainsi confidentielles pendant que vous préparez le fichier.

Conseils pratiques

N'oubliez pas que Disallow contrôle l'exploration, pas l'indexation : une URL bloquée peut tout de même apparaître dans les résultats si d'autres sites pointent vers elle. Utilisez donc une balise meta noindex ou un en-tête HTTP lorsque vous voulez vraiment exclure une page des résultats. Ne bloquez jamais vos dossiers CSS ou JavaScript, car les moteurs en ont besoin pour afficher et comprendre la page. L'ordre compte moins que la spécificité — la plupart des robots appliquent la règle correspondante la plus longue — et une ligne Disallow: vide signifie « tout autoriser ». Placez toujours le fichier final à la racine de votre domaine, testez-le avec l'outil de test robots.txt de Google Search Console et vérifiez-le à nouveau après chaque migration de site, car un Disallow: / accidentel masquerait tout votre site.