什么是 robots.txt？

简要回答

Robots.txt 是网站根目录中的文本文件，告诉遵守规则的抓取程序哪些 URL 路径可以请求，哪些不可以。

操作步骤

1. 请求 https://siteindex.app/robots.txt。
2. 检查 User-agent、Allow、Disallow 和 Sitemap 指令。
3. 确认重要公开页面未被意外禁止抓取。
4. 需要控制索引时使用 noindex；robots.txt 主要控制抓取。

技术细节

• Robots 规则针对具体主机，不是访问控制机制。恶意客户端可以忽略它们。

常见错误

• 使用 Disallow: / 屏蔽整个网站。
• 用 robots.txt 隐藏私密信息。
• 为 Googlebot 添加 Host 等不受支持的指令。

使用限制

• SiteIndex 目前没有独立的 robots 检查器；Website Score 检查 robots.txt 的可用性并发现站点地图。