Robots.txt: o que é, como criar e como configurar sem bloquear o Google

Agência Redstack

há 4 dias

7 min de leitura

O robots.txt é um arquivo de texto simples, colocado na raiz do site, que diz aos robôs dos mecanismos de busca quais áreas eles podem ou não rastrear. É um dos arquivos mais antigos e mais mal compreendidos do SEO: pequeno, fácil de editar e capaz de tirar um site inteiro do Google com uma única linha errada.

Boa parte dos problemas de indexação que encontramos em auditorias tem origem nele. Ora o arquivo bloqueia pastas de CSS e JavaScript e o Google passa a enxergar a página quebrada; ora alguém copia um robots.txt de ambiente de homologação para produção e o site some das buscas; ora o time tenta "esconder" uma página do Google pelo robots.txt e ela continua aparecendo nos resultados, só que sem título e sem descrição.

Este artigo explica o que o robots.txt faz (e o que ele não faz), como escrever as regras, como configurá-lo em plataformas como o Wix e como testar antes de publicar.

O que é o robots.txt e para que serve

O robots.txt implementa o Protocolo de Exclusão de Robôs, um padrão que os principais mecanismos de busca seguem para decidir o que rastrear em um site. Quando o Googlebot chega a um domínio, a primeira coisa que ele faz é buscar https://seudominio.com.br/robots.txt. Se o arquivo existir, o robô lê as regras e evita as URLs que foram proibidas; se não existir, ele assume que pode rastrear tudo.

A função principal do arquivo é gerenciar o rastreamento: evitar que o robô gaste tempo em áreas sem valor para a busca (resultados de busca interna, filtros infinitos de catálogo, painéis administrativos, arquivos temporários) e concentrar o orçamento de rastreamento nas páginas que importam. A documentação oficial do Google sobre o tema está em Introdução ao robots.txt, e vale a leitura.

O que o robots.txt não faz

Aqui está o ponto que mais gera confusão: bloquear uma URL no robots.txt não impede que ela seja indexada. O arquivo impede o rastreamento, não a indexação. Se outras páginas, internas ou externas, apontam para a URL bloqueada, o Google pode exibi-la nos resultados mesmo sem ter lido o conteúdo, normalmente com um aviso de que a descrição não está disponível.

Para tirar uma página do índice, o caminho correto é a meta tag noindex (ou o cabeçalho HTTP equivalente) e, se for o caso, a remoção via Google Search Console. E atenção à armadilha: se você colocar noindex em uma página e ao mesmo tempo bloqueá-la no robots.txt, o robô nunca vai ler a tag, e a página pode continuar indexada.

O robots.txt também não é um mecanismo de segurança. Ele é público, qualquer pessoa pode abrir, e robôs mal-intencionados simplesmente o ignoram. Conteúdo confidencial precisa de autenticação, não de uma linha de Disallow.

Como o arquivo é estruturado

Um robots.txt é formado por grupos de regras. Cada grupo começa com a linha User-agent, que identifica para qual robô as regras valem, seguida de uma ou mais linhas Disallow e Allow. Um exemplo básico:

User-agent: *
Disallow: /admin/
Disallow: /busca
Allow: /

Sitemap: https://www.seudominio.com.br/sitemap.xml

Lendo linha a linha:

User-agent: * significa que as regras valem para todos os robôs.
Disallow: /admin/ proíbe o rastreamento de tudo dentro da pasta /admin/.
Disallow: /busca proíbe qualquer URL que comece com /busca.
Allow: / libera o restante (essa linha é opcional, pois o padrão já é permitir).
Sitemap: informa onde está o sitemap, o que ajuda o robô a descobrir URLs. Se você ainda não tem um, veja nosso guia sobre sitemap XML.

Algumas regras de sintaxe que evitam dor de cabeça:

O arquivo precisa se chamar exatamente robots.txt, em minúsculas, e ficar na raiz do host. Um arquivo em /pasta/robots.txt é ignorado.
Cada subdomínio e cada protocolo tem o seu próprio arquivo. O robots.txt de www.seudominio.com.br não vale para blog.seudominio.com.br.
Os caminhos diferenciam maiúsculas de minúsculas. /Admin/ e /admin/ são regras diferentes.
O asterisco (*) funciona como curinga para qualquer sequência de caracteres, e o cifrão ($) marca o fim da URL. Disallow: /*.pdf$ bloqueia todos os PDFs.
Linhas iniciadas por # são comentários.
Quando regras conflitam, o Google aplica a mais específica (a de caminho mais longo). Em empate, a regra Allow prevalece.

A diretiva Crawl-delay, que aparece em muitos arquivos antigos, é ignorada pelo Google. A frequência de rastreamento do Googlebot é ajustada automaticamente, e, se necessário, controlada pelo Search Console.

Exemplos de regras úteis

Alguns cenários comuns e como resolvê-los:

Bloquear resultados de busca interna

User-agent: *
Disallow: /busca
Disallow: /*?s=
Disallow: /*?q=

Páginas de resultado de busca interna geram URLs infinitas e sem valor para o Google. Bloqueá-las é uma das melhores práticas de SEO técnico.

Bloquear filtros e parâmetros de catálogo

User-agent: *
Disallow: /*?ordenar=
Disallow: /*?cor=

Em lojas virtuais, combinações de filtros podem gerar milhares de URLs quase idênticas. Vale combinar o bloqueio com o uso correto da tag canonical nas páginas que ficam liberadas.

Bloquear um robô específico

User-agent: ExemploBot
Disallow: /

Útil para rastreadores que consomem recursos do servidor sem trazer tráfego. Lembre-se de que robôs que não respeitam o protocolo vão ignorar a regra.

Liberar um arquivo dentro de uma pasta bloqueada

User-agent: *
Disallow: /recursos/
Allow: /recursos/catalogo.pdf

Os erros mais comuns (e mais caros)

Uma lista curta do que já vimos derrubar o tráfego orgânico de empresas:

Disallow: / em produção. É o bloqueio total. Costuma vir do ambiente de testes, onde faz sentido, e sobe junto com o site. Depois de uma migração ou de um novo site, o robots.txt é a primeira coisa a conferir.
Bloquear CSS, JavaScript e imagens. O Google renderiza páginas como um navegador. Se ele não consegue carregar os arquivos de estilo e script, pode interpretar a página como vazia ou não adaptada a dispositivos móveis.
Usar o robots.txt para remover páginas do índice. Como vimos, não funciona. Use noindex.
Esquecer a linha Sitemap. Não é obrigatória, mas ajuda, especialmente em sites grandes ou recém-lançados.
Regras genéricas demais. Disallow: /blog bloqueia /blog, /blog/, /blog-corporativo e qualquer URL que comece com esse texto. Use a barra final quando a intenção for bloquear uma pasta.
Arquivo acessível apenas com erro. Se o servidor responde robots.txt com erro 5xx, o Google pode parar de rastrear o site até o arquivo voltar. Monitore.
Bloquear o que está no sitemap. Mandar o Google para uma URL pelo sitemap e proibir o rastreamento dela pelo robots.txt é uma contradição que aparece como aviso no Search Console.

Robots.txt no Wix e no Wix Studio

Sites criados no Wix e no Wix Studio já nascem com um robots.txt gerado automaticamente, que bloqueia as áreas internas da plataforma e inclui a referência ao sitemap. Na maioria dos projetos, isso é suficiente e não precisa ser alterado.

Quando é necessário personalizar, a edição é feita no painel do site, na área de SEO, em Ferramentas e configurações, pelo Editor de robots.txt. A base de conhecimento do Wix descreve o passo a passo em Editing Your Site's Robots.txt File e, em artigo separado, explica como usar o mesmo editor para bloquear rastreadores de IA. Dois cuidados: as regras padrão da plataforma devem ser mantidas, e qualquer bloqueio adicional deve ser testado antes de salvar.

Se o seu site está sendo migrado de outra plataforma, especialmente de WordPress, compare o robots.txt antigo com o novo e verifique se nenhuma pasta que tinha tráfego ficou bloqueada. Tratamos desse e de outros cuidados no artigo sobre migrar WordPress para Wix Studio sem perder SEO. Para projetos novos, a configuração do robots.txt faz parte do checklist de lançamento dos sites que a Redstack entrega em Wix Studio e Wix Headless.

Como testar o robots.txt antes e depois de publicar

Nunca publique uma alteração sem testar. Três formas de fazer isso:

Abrir o arquivo no navegador. Acesse https://www.seudominio.com.br/robots.txt e confira se o conteúdo é o esperado e se o servidor responde com status 200.
Relatório de robots.txt do Search Console. Em Configurações, o Search Console mostra as versões do arquivo que o Google buscou, quando foi a última leitura e se houve erro de obtenção ou de análise.
Inspeção de URL. Também no Search Console, a ferramenta de inspeção informa se uma URL específica está bloqueada pelo robots.txt e qual regra está causando o bloqueio.

Depois da publicação, acompanhe por algumas semanas o relatório de Indexação de páginas. Um aumento repentino de URLs com o status "Bloqueada pelo robots.txt" é sinal de que alguma regra pegou mais do que deveria.

Robots.txt e os robôs de inteligência artificial

Um tema que ganhou relevância é o controle de rastreadores de empresas de IA, que coletam conteúdo para treinar modelos e para alimentar respostas em assistentes. Vários desses robôs declaram um User-agent próprio e respeitam o robots.txt, o que permite bloqueá-los seletivamente.

Antes de bloquear, pense na estratégia. Se a empresa quer aparecer em respostas de assistentes e em recursos como as AI Overviews do Google, bloquear os rastreadores pode ser contraproducente. Discutimos esse equilíbrio no artigo sobre SEO para IA (GEO). Em geral, a decisão deve ser tomada junto com a área jurídica e de marketing, e não apenas pela TI.

Um checklist rápido

Antes de encerrar, um resumo do que conferir no robots.txt do seu site:

O arquivo está na raiz e responde com status 200.
Não existe Disallow: / para User-agent: * em produção.
CSS, JavaScript e imagens não estão bloqueados.
Áreas sem valor para a busca (busca interna, filtros, admin) estão bloqueadas.
A linha Sitemap aponta para o sitemap correto.
Nenhuma URL do sitemap está bloqueada.
Páginas que precisam sair do índice usam noindex e não estão bloqueadas.
O relatório do Search Console não mostra erros de obtenção.

Esses itens fazem parte de qualquer auditoria de SEO completa, ao lado da arquitetura de URLs, dos redirecionamentos e da velocidade.

Se você suspeita que o robots.txt ou outros detalhes técnicos estão limitando o desempenho orgânico do seu site, a Redstack pode fazer essa verificação e corrigir o que for necessário, seja em um site existente ou em um projeto novo. Fale com o nosso time e leve a dúvida técnica junto.