Gerador de Robots.txt

O que o Gerador de Robots.txt faz

O Gerador de Robots.txt cria o pequeno arquivo de texto simples que informa aos rastreadores dos mecanismos de busca quais partes do seu site eles podem ou não solicitar. A partir de uma linha user-agent, uma lista de caminhos disallow, uma lista opcional de exceções allow, um crawl-delay opcional e a URL do seu sitemap, ele monta um arquivo robots.txt corretamente formatado que você pode copiar ou baixar. O arquivo segue o Protocolo de Exclusão de Robôs: cada grupo começa com uma diretiva User-agent, seguida de regras Disallow e Allow que se aplicam a esse agente.

Esse é o primeiro arquivo que a maioria dos rastreadores busca ao visitar um site, por isso acertar nele tem um impacto enorme na eficiência com que suas páginas são descobertas. Bloquear áreas de pouco valor — resultados de busca interna, URLs de filtros facetados, páginas de carrinho e checkout, painéis administrativos — ajuda os rastreadores a gastar seu orçamento no conteúdo que você realmente quer indexar. Apontar para o sitemap no robots.txt também oferece a cada rastreador um mapa confiável das suas URLs importantes, mesmo as que eles talvez não alcancem por links internos.

Fluxo de trabalho privado, no navegador

O arquivo é gerado localmente com JavaScript no lado do cliente. Nenhum dos caminhos, nomes de agente ou URLs de sitemap que você informa é enviado — a saída é construída na memória e oferecida como um bloco de texto copiável e como download. Assim, estruturas de diretórios não publicadas e URLs de homologação permanecem privadas enquanto você prepara o arquivo.

Dicas práticas

Lembre-se de que Disallow controla o rastreamento, não a indexação: uma URL bloqueada ainda pode aparecer na busca se outros sites apontarem para ela, então use uma meta tag noindex ou um cabeçalho HTTP quando realmente precisar manter uma página fora dos resultados. Nunca bloqueie seus diretórios de CSS ou JavaScript, pois os mecanismos de busca precisam deles para renderizar e entender a página. A ordem importa menos que a especificidade — a maioria dos rastreadores respeita a regra correspondente mais longa — e uma linha Disallow: vazia significa «permitir tudo». Coloque sempre o arquivo final na raiz do seu domínio, teste-o no testador de robots.txt do Google Search Console e reverifique-o após migrações do site, pois um Disallow: / acidental ocultará o site inteiro.