robots.txt क्या है?

संक्षिप्त उत्तर

Robots.txt वेबसाइट की जड़ में रखी गई टेक्स्ट फ़ाइल है जो नियम मानने वाले क्रॉलर को बताती है कि कौन से URL पाथ माँग सकते हैं और कौन से नहीं।

चरण-दर-चरण

1. https://siteindex.app/robots.txt का अनुरोध करें।
2. User-agent, Allow, Disallow और Sitemap निर्देश देखें।
3. पुष्टि करें कि महत्वपूर्ण सार्वजनिक पेज अनजाने में प्रतिबंधित नहीं हैं।
4. इंडेक्सिंग नियंत्रण के लिए noindex उपयोग करें; robots.txt मुख्यतः क्रॉल निर्देश है।

तकनीकी विवरण

• Robots नियम होस्ट-विशिष्ट हैं और पहुँच नियंत्रण का साधन नहीं हैं। दुर्भावनापूर्ण क्लाइंट इन्हें अनदेखा कर सकता है।

आम गलतियाँ

• Disallow: / से पूरी साइट रोकना।
• निजी जानकारी छिपाने के लिए robots.txt उपयोग करना।
• Googlebot के लिए Host जैसे असमर्थित निर्देश जोड़ना।

सीमाएँ

• SiteIndex अभी अलग robots जाँचकर्ता नहीं देता; Website Score robots.txt की उपलब्धता और sitemap खोज जाँचता है।