Robots.txt जेनरेटर
विज़ुअल रूल बिल्डर से मान्य robots.txt फ़ाइल बनाएं — हर क्रॉलर के लिए अनुमति/अवरोध नियम सेट करें, Sitemap और Crawl-delay जोड़ें, फिर कॉपी या डाउनलोड करें।
🔒 आपके ब्राउज़र में लोकली प्रोसेस किया गया
Loading…
इस्तेमाल कैसे करें
- एक क्विक-स्टार्ट प्रीसेट चुनें — "सभी को अनुमति दें" हर क्रॉलर को आपकी पूरी साइट इंडेक्स करने देता है, "सभी को अवरोधित करें" हर क्रॉलर को पूरी तरह रोक देता है, या अपने नियम बनाने के लिए "कस्टम" से शुरू करें।
- हर नियम समूह के लिए User-agent सेट करें (सभी क्रॉलर के लिए * इस्तेमाल करें, या Googlebot जैसे किसी खास बॉट का नाम) और जिन पथों को लक्षित करना है उनके लिए अनुमति या अवरोध नियम जोड़ें।
- चाहें तो हर समूह के लिए Crawl-delay सेट करें और अपना Sitemap URL जोड़ें — दोनों जनरेट की गई फ़ाइल में अपने आप जुड़ जाते हैं।
- प्रीव्यू बॉक्स से जनरेट किया गया robots.txt कॉपी करें, या सीधे डाउनलोड करें — फिर इसे अपने डोमेन के रूट में अपलोड करें (जैसे https://example.com/robots.txt)।
विशेषताएं
- सबसे सामान्य मामलों के लिए वन-क्लिक "सभी को अनुमति दें" और "सभी को अवरोधित करें" प्रीसेट
- विज़ुअल रूल बिल्डर — बिना हाथ से सिंटैक्स लिखे User-agent समूह और अनुमति/अवरोध नियम जोड़ें या हटाएं
- हर समूह के लिए वैकल्पिक Crawl-delay और एक Sitemap URL फ़ील्ड
- लाइव-जनरेटेड आउटपुट जो नियम बदलते ही तुरंत अपडेट हो जाता है
- 100% क्लाइंट-साइड — आपके नियम कभी भी आपके ब्राउज़र से बाहर नहीं जाते
अक्सर पूछे जाने वाले सवाल
robots.txt फ़ाइल कहां रखनी चाहिए?
इसे अपने डोमेन के रूट में अपलोड करें, ताकि यह https://yourdomain.com/robots.txt पर उपलब्ध हो। सर्च इंजन इसे केवल इसी सटीक जगह पर खोजते हैं।
क्या robots.txt वाकई सर्च इंजनों को मेरी साइट क्रॉल करने से रोकता है?
यह एक अनुरोध है, कोई सख्त नियम नहीं। Googlebot जैसे अच्छे व्यवहार वाले क्रॉलर इसका पालन करते हैं, लेकिन कोई भी दुर्भावनापूर्ण या खराब व्यवहार वाला बॉट इसे पूरी तरह नज़रअंदाज़ कर सकता है। संवेदनशील कंटेंट छिपाने के लिए इस पर भरोसा न करें।
User-agent फ़ील्ड का क्या मतलब है?
यह बताता है कि नियम समूह किस क्रॉलर पर लागू होता है। सभी क्रॉलर से मैच करने के लिए * इस्तेमाल करें, या किसी खास बॉट (जैसे Googlebot या Bingbot) को बाकियों से अलग नियम देने के लिए उसका नाम इस्तेमाल करें।
क्या मुझे Sitemap लाइन की ज़रूरत है?
यह वैकल्पिक है लेकिन इसकी सलाह दी जाती है — यह क्रॉलर को आपकी sitemap.xml तक पहुंचाता है ताकि वे आपके पेज ज़्यादा असरदार तरीके से खोज सकें। अगर आपके पास अभी कोई नहीं है, तो फ़ील्ड खाली छोड़ दें।
क्या Crawl-delay को सभी सर्च इंजन मानते हैं?
नहीं। इसे कुछ क्रॉलर (जैसे Bing) सपोर्ट करते हैं, लेकिन बाकी इसे नज़रअंदाज़ कर देते हैं (Google अब robots.txt में इसे नहीं मानता)। Google की क्रॉल दर नियंत्रित करने के लिए इसके बजाय Google Search Console का इस्तेमाल करें।