robots.txtとは？

要点

Robots.txtはサイトのルートに置くテキストファイルで、ルールに従うクローラーに要求可能・不可能なURLパスを伝えます。

手順

1. https://siteindex.app/robots.txtを取得します。
2. User-agent、Allow、Disallow、Sitemapディレクティブを確認します。
3. 重要な公開ページが意図せず禁止されていないか確認します。
4. インデックス制御にはnoindexを使います。robots.txtは主にクロールを指示します。

技術的な詳細

• Robotsルールはホスト単位で、アクセス制御の仕組みではありません。悪意のあるクライアントは無視できます。

よくある間違い

• Disallow: /でサイト全体をブロックすること。
• robots.txtで非公開情報を隠そうとすること。
• Googlebot向けのHostなど未対応のディレクティブを追加すること。

制限事項

• SiteIndexには現在独立したrobotsチェッカーはありません。Website Scoreがrobots.txtの利用可否とサイトマップの検出を確認します。