Generador de Robots.txt

Qué hace el Generador de Robots.txt

El Generador de Robots.txt crea el pequeño archivo de texto plano que indica a los rastreadores de los buscadores qué partes de tu sitio pueden solicitar y cuáles no. A partir de una línea user-agent, una lista de rutas disallow, una lista opcional de excepciones allow, un crawl-delay opcional y la URL de tu sitemap, construye un archivo robots.txt con el formato correcto que puedes copiar o descargar. El archivo sigue el Protocolo de exclusión de robots: cada grupo empieza con una directiva User-agent seguida de reglas Disallow y Allow que se aplican a ese agente.

Es el primer archivo que la mayoría de los rastreadores solicita al visitar un sitio, por lo que acertar con él influye mucho en la eficiencia con la que se descubren tus páginas. Bloquear las áreas de poco valor —resultados de búsqueda internos, URL de filtros facetados, páginas de carrito y pago, paneles de administración— ayuda a que los rastreadores inviertan su presupuesto en el contenido que realmente quieres indexar. Indicar tu sitemap en el robots.txt también ofrece a cada rastreador un mapa fiable de tus URL importantes, incluso de las que quizá no alcancen mediante enlaces internos.

Flujo de trabajo privado en el navegador

El archivo se genera localmente con JavaScript del lado del cliente. Ninguna de las rutas, nombres de agente o URL de sitemap que introduces se sube: el resultado se construye en memoria y se ofrece como bloque de texto copiable y como descarga. Así, las estructuras de directorios sin publicar y las URL de pruebas se mantienen privadas mientras preparas el archivo.

Consejos prácticos

Recuerda que Disallow controla el rastreo, no la indexación: una URL bloqueada aún puede aparecer en los resultados si otros sitios la enlazan, así que usa una etiqueta meta noindex o una cabecera HTTP cuando de verdad quieras mantener una página fuera de los resultados. Nunca bloquees tus directorios de CSS o JavaScript, porque los buscadores los necesitan para renderizar y entender la página. El orden importa menos que la especificidad —la mayoría de los rastreadores respeta la regla coincidente más larga— y una línea Disallow: vacía significa «permitir todo». Coloca siempre el archivo terminado en la raíz de tu dominio, pruébalo en el probador de robots.txt de Google Search Console y vuelve a revisarlo tras las migraciones del sitio, ya que un Disallow: / accidental ocultará todo tu sitio.