¿Qué es robots.txt?

Cómo robots.txt orienta a los rastreadores compatibles y en qué se diferencia de un sitemap XML.

Respuesta breve

Robots.txt es un archivo de texto en la raíz de un sitio que indica a los rastreadores que respetan sus reglas qué rutas URL pueden solicitar y cuáles no.

Usa gratis Comprobador de puntuación y SEO web

Paso a paso

Solicita https://siteindex.app/robots.txt.
Revisa las directivas User-agent, Allow, Disallow y Sitemap.
Confirma que no se bloqueen por error páginas públicas importantes.
Usa noindex para controlar la indexación; robots.txt dirige principalmente el rastreo.

Detalles técnicos

Las reglas robots son específicas de cada host y no son un mecanismo de control de acceso. Un cliente malicioso puede ignorarlas.

Errores frecuentes

Bloquear todo el sitio con Disallow: /.
Usar robots.txt para ocultar información privada.
Añadir directivas no admitidas, como Host para Googlebot.

Limitaciones

SiteIndex no ofrece actualmente un comprobador robots independiente; Website Score comprueba la disponibilidad de robots.txt y el descubrimiento de sitemaps.

Herramienta relacionada de SiteIndex

Puntuación SEO de una web: Analiza señales técnicas y SEO de una web para obtener una puntuación clara. Revisa los hallazgos y descubre qué aspectos conviene mejorar primero.

Usar Puntuación SEO de una web Más información