इस टूल में कोई समस्या है?
«रोबोट्स.txt जेनरेटर ऑनलाइन» के बारे में
यह टूल आपकी वेबसाइट के लिए एक robots.txt फ़ाइल बनाता है, जो खोज इंजन क्रॉलर और बॉट को बताती है कि कौन से पथों को इंडेक्स करना चाहिए और कौन से नहीं।
एक सही robots.txt एडमिन क्षेत्रों के बेकार क्रॉलिंग को रोकता है।
परिणामी फ़ाइल को अपने डोमेन के रूट पर रखें।
इस टूल का उपयोग कैसे करें
अपनी साइट के लिए robots.txt कैसे बनाएँ
प्रीसेट चुनें
"Preset" में आप `allow-all` (सभी बॉट हर चीज़ क्रॉल कर सकते हैं), `disallow-all` (हर URL पर हर बॉट को ब्लॉक करें — स्टेजिंग के लिए काम का) या `disallow-admin` (ज़्यादातर की अनुमति, `/admin` और `/private` ब्लॉक) में से चुनते हैं। इसी चुनाव से `User-agent: *` वाला ब्लॉक लिखा जाता है।
साइटमैप URL (वैकल्पिक)
"Sitemap URL" आखिर में आपके XML साइटमैप की ओर इशारा करती `Sitemap:` लाइन जोड़ देता है। जिन सर्च इंजनों को यह मिलती है, वे इसे पढ़ लेते हैं और आपको कहीं और सबमिट नहीं करना पड़ता। पूरा URL (`https://example.com/sitemap.xml`) इस्तेमाल करें।
«चलाएँ» दबाएँ
नतीजे में एक ही `robotsTxt` फ़ील्ड मिलता है। इसे अपनी साइट के रूट में ठीक `robots.txt` नाम की फ़ाइल के रूप में सेव करें — यह `https://example.com/robots.txt` पर मिलनी चाहिए (`/blog/robots.txt` पर नहीं)।
robots.txt क्या नहीं है
यह एक अनुरोध है, कोई पाबंदी नहीं। अच्छे बॉट (Googlebot, Bingbot) इसका पालन करते हैं; गलत इरादे वाले क्रॉलर इसे अनदेखा कर देते हैं। असली एक्सेस कंट्रोल के लिए ऑथेंटिकेशन, IP ब्लॉक या रेट लिमिट इस्तेमाल करें — और robots.txt में कभी सीक्रेट न लिखें (ऐसा करके आप उनका ढिंढोरा ही पीटेंगे)।