ما ملف robots.txt؟

الإجابة المختصرة

Robots.txt ملف نصي في جذر الموقع يخبر برامج الزحف الملتزمة بالقواعد بمسارات URL التي يجوز أو لا يجوز طلبها.

خطوة بخطوة

1. اطلب https://siteindex.app/robots.txt.
2. راجع توجيهات User-agent وAllow وDisallow وSitemap.
3. تأكد من عدم حظر صفحات عامة مهمة دون قصد.
4. استخدم noindex للتحكم في الفهرسة؛ robots.txt يوجه الزحف أساسًا.

التفاصيل التقنية

• قواعد robots خاصة بكل مضيف وليست آلية للتحكم في الوصول. يمكن لعميل ضار تجاهلها.

أخطاء شائعة

• حظر الموقع كله باستخدام Disallow: /.
• استخدام robots.txt لإخفاء معلومات خاصة.
• إضافة توجيهات غير مدعومة مثل Host لـ Googlebot.

القيود

• لا يوفر SiteIndex حاليًا فاحص robots مستقلًا؛ يفحص Website Score توافر robots.txt واكتشاف خرائط الموقع.