Apa itu robots.txt?

Cara robots.txt memberi arahan kepada crawler yang patuh dan bedanya dengan sitemap XML.

Jawaban singkat

Robots.txt adalah berkas teks di akar situs yang memberi tahu crawler yang mematuhi aturan tentang path URL yang boleh atau tidak boleh diminta.

Gunakan gratis Pemeriksa skor dan SEO website

Langkah demi langkah

Minta https://siteindex.app/robots.txt.
Periksa direktif User-agent, Allow, Disallow, dan Sitemap.
Pastikan halaman publik penting tidak diblokir tanpa sengaja.
Gunakan noindex untuk kontrol pengindeksan; robots.txt terutama mengatur perayapan.

Detail teknis

Aturan robots berlaku per host dan bukan mekanisme kontrol akses. Klien berbahaya dapat mengabaikannya.

Kesalahan umum

Memblokir seluruh situs dengan Disallow: /.
Menggunakan robots.txt untuk menyembunyikan informasi privat.
Menambahkan direktif yang tidak didukung, seperti Host untuk Googlebot.

Batasan

SiteIndex saat ini tidak menyediakan pemeriksa robots mandiri; Website Score memeriksa ketersediaan robots.txt dan penemuan sitemap.

Tool SiteIndex terkait

Skor SEO website: Analisis sinyal teknis dan SEO website untuk mendapatkan skor yang mudah dipahami. Tinjau temuan dan ketahui perbaikan mana yang sebaiknya didahulukan.

Gunakan Skor SEO website Pelajari selengkapnya