Qu’est-ce que robots.txt ?

En bref

Robots.txt est un fichier texte à la racine d’un site qui indique aux robots respectant ses règles quels chemins d’URL ils peuvent ou non demander.

Étapes à suivre

1. Demandez https://siteindex.app/robots.txt.
2. Vérifiez les directives User-agent, Allow, Disallow et Sitemap.
3. Assurez-vous que les pages publiques importantes ne sont pas bloquées involontairement.
4. Utilisez noindex pour contrôler l’indexation ; robots.txt dirige surtout l’exploration.

Détails techniques

• Les règles robots sont propres à chaque hôte et ne constituent pas un contrôle d’accès. Un client malveillant peut les ignorer.

Erreurs fréquentes

• Bloquer tout le site avec Disallow: /.
• Utiliser robots.txt pour cacher des informations privées.
• Ajouter des directives non prises en charge, comme Host pour Googlebot.

Limites

• SiteIndex ne propose actuellement aucun vérificateur robots autonome ; Website Score contrôle la disponibilité de robots.txt et la découverte des sitemaps.