O que é robots.txt?

Resposta rápida

Robots.txt é um arquivo de texto na raiz do site que informa aos rastreadores que respeitam suas regras quais caminhos de URL podem ou não solicitar.

Passo a passo

1. Solicite https://siteindex.app/robots.txt.
2. Confira as diretivas User-agent, Allow, Disallow e Sitemap.
3. Confirme que páginas públicas importantes não foram bloqueadas por engano.
4. Use noindex para controlar a indexação; robots.txt orienta principalmente o rastreamento.

Detalhes técnicos

• As regras robots são específicas de cada host e não são um mecanismo de controle de acesso. Um cliente malicioso pode ignorá-las.

Erros comuns

• Bloquear o site inteiro com Disallow: /.
• Usar robots.txt para ocultar informações privadas.
• Adicionar diretivas não compatíveis, como Host para Googlebot.

Limitações

• O SiteIndex não oferece atualmente um verificador robots independente; Website Score verifica a disponibilidade de robots.txt e a descoberta de sitemaps.