Was ist robots.txt?

Wie robots.txt regelkonforme Crawler anleitet und worin der Unterschied zu einer XML-Sitemap liegt.

Kurzantwort

Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die regelkonformen Crawlern mitteilt, welche URL-Pfade sie anfordern dürfen und welche nicht.

Kostenlos nutzen Website-Score und SEO prüfen

Schritt für Schritt

Rufen Sie https://siteindex.app/robots.txt ab.
Prüfen Sie die Direktiven User-agent, Allow, Disallow und Sitemap.
Stellen Sie sicher, dass wichtige öffentliche Seiten nicht versehentlich gesperrt sind.
Verwenden Sie noindex für die Indexierungskontrolle; robots.txt steuert hauptsächlich das Crawling.

Technische Details

Robots-Regeln gelten je Host und sind keine Zugriffskontrolle. Ein bösartiger Client kann sie ignorieren.

Häufige Fehler

Die ganze Website mit Disallow: / sperren.
Private Informationen mit robots.txt verbergen.
Nicht unterstützte Direktiven wie Host für Googlebot hinzufügen.

Einschränkungen

SiteIndex bietet derzeit keinen eigenständigen Robots-Prüfer; Website Score prüft robots.txt-Verfügbarkeit und Sitemap-Erkennung.

Passendes SiteIndex-Tool

Website-SEO-Score: Analysiere technische und SEO-Signale einer Website und erhalte einen übersichtlichen Score. Sieh die Ergebnisse und erfahre, welche Verbesserungen zuerst sinnvoll sind.

Verwenden Website-SEO-Score Mehr erfahren