Desenvolvimento

Robots.txt Generator — Documentação

Build a robots.txt file with user-agent, allow, disallow, crawl-delay, and sitemap rules, then download it locally.

Como funciona

Build a robots.txt file with user-agent, allow, disallow, crawl-delay, and sitemap rules, then download it locally.

Esta ferramenta executa a operação solicitada no navegador sempre que possível.

Quando usar

Use Robots.txt Generator quando precisar de um resultado específico para esta tarefa.

Entradas e resultados

Entrada: Informe o valor solicitado no formulário. Em verificações de rede, use um domínio, URL ou host público que você tenha autorização para consultar.
Resultado: O resultado aparece na área de trabalho. Confira os avisos e as limitações antes de se basear nele.

Limitações

O resultado depende dos dados e, quando aplicável, do navegador, da rede e do serviço externo no momento da verificação. A ferramenta é informativa e não substitui um diagnóstico especializado.

Privacidade e tratamento de dados

Esta ferramenta processa os dados no navegador sempre que possível. A Política de Privacidade explica a análise do site e os cookies. Privacidade.

Informe o valor solicitado no formulário. Em verificações de rede, use um domínio, URL ou host público que você tenha autorização para consultar.
Esta ferramenta executa a operação solicitada no navegador sempre que possível.
O resultado aparece na área de trabalho. Confira os avisos e as limitações antes de se basear nele.