हेलो दोस्तो, Robots.txt File क्या हैं? इसे ब्लॉग में कैसे ऐड करें? यह कैसे काम करता है? इसका ब्लॉग में लगाना क्यों जरूरी है? इसके फायदे क्या है? Robots.txt file कैसे बनाते हैं? अगर आप एक ब्लॉगर है तो आपके मन में भी robots.txt से संबंधित इस तरह के सवाल जरूर उठ रहे होंगे। तो आज हम इस आर्टिकल में robots.txt के बारे में पूरी डिटेल में सीखेंगे। 

अगर आप काफी समय से ब्लॉगिंग कर रहे हैं तो आपको robots.txt के बारे में पता होगा। पर कई बार इसे बनाते समय error आने लगता है। तो चलिए आज हम इस पोस्ट में इसे सही तरीके से बनाना और अपने ब्लॉग में ऐड करना सीख लेते हैं। इसके अलावा अगर आप एक नए ब्लॉगर है तो इस आर्टिकल को पढ़ने के बाद आपको robots.txt की पूरी जानकारी हो जाएगी।

Robots.txt क्या हैं? 

Robots.txt एक फाइल (file) होती है जिसे हमें अपने ब्लॉग में ऐड करना होता है। जैसा कि आप सभी जानते हैं कि .txt, text file format का extension होता हैं। तू इस तरह robots.txt एक तरह की text file होती है। Robots.txt को हम अपने ब्लॉग का बॉडीगार्ड या सिक्योरिटी गार्ड कह सकते हैं। जो बिना permission के किसी भी सर्च इंजन को हमारे ब्लॉग के सिक्योर पेजेस को access नहीं करने देता।

मान लीजिए कि आप अपने ब्लॉग के कुछ पेजेस को सर्च इंजन मैं नहीं दिखाना चाहते हैं या ब्लॉग के categories, labels या tags, Search engines मैं index नहीं कराना चाहते हैं। तो आप इन सभी को robots.txt file के अंदर disallow section मैं लिख सकते हैं। चलिए अब हम जानते है कि robots.txt काम कैसे करता है।

Robots.txt काम कैसे करता है?

जैसा कि अभी थोड़ी देर पहले मैंने बताया था कि robots.txt को हम अपने ब्लॉग का बॉडीगार्ड या सिक्योरिटी गार्ड कह सकते हैं। तू इस तरह से यह हमारे साइट की privacy की security करता है। 

जब सर्च इंजन आपके blog को rank करने के लिए आपके ब्लॉग में enter करता है तो robots.txt उसे बताता है कि क्या क्या चीज रैंक करनी है, और कौन-कौन सी चीजें रैंक नहीं करनी है। इससे सर्च इंजन को भी आपके ब्लॉग के कंटेंट को रैंक कराने में आसानी होती है। और इस तरह से आपका ब्लॉग SEO friendly बन जाता है।

  Read More  

Robots.txt File के फायदे?

हमें अपने ब्लॉग में robots.txt file जरूर ऐड करना चाहिए। यह हमारे साइट के लिए बहुत जरूरी है। इससे हमारा ब्लॉग SEO फ्रेंडली होता है। और इसे अपने ब्लॉग में लगाने के बहुत से फायदे भी है।

1) robots.txt के मदद से आप अपने ब्लॉग के किसी भी कंटेंट को सर्च इंजन से प्राइवेट रख सकते हैं।
2) इसके इस्तेमाल से आप अपने “sensitive information” को भी प्राइवेट रख सकते हैं।
3) robots.txt के जरिए आप Google bots की मदद भी कर सकते हैं। ब्लॉग के कंटेंट को रैंक (rank) / index करने के लिए।
4) Robots.txt के मदद से सर्च इंजन को यह आसानी से पता चल जाता है कि आपके ब्लॉग की sitemap कहां स्थित है।
5) इसके जरिए आप अपने ब्लॉग के categories, labels, tags, images, document, etc. को सर्च इंजन में rank/index होने से रोक सकते हैं।
6) इसके जरिए आप अपने ब्लॉग के जिस कंटेंट को चाहे, सर्च इंजन मैं इंडेक्स करा सकते हैं। और जिस कंटेंट को चाहे सर्च इंजन की नजरों से दूर रख सकते हैं।

Robots.txt कैसे बनाएं?

वैसे तो robots.txt file generator के नाम से बहुत सी वेबसाइट इंटरनेट पर available है। जो आपकी साइट के लिए robots.txt file को generate करती है। पर मैं आपको यही सलाह दूंगा कि आप इस तरह की किसी भी वेबसाइट पर मत जाए। 

यह सभी आपके डाटा को स्टोर करती है। जिससे भविष्य में कभी हमें परेशानी उठानी पड़ सकती है। इसलिए इन सभी वेबसाइट से दूर रहे। यहां मैं आपको बिल्कुल genuine और सही तरीका बता रहा हूं। जिसे गूगल ब्लॉगर ने बताया है आप चाहे तो ब्लॉगर के हेल्प फोरम पर जाकर देख सकते हैं।

User-agent: Mediapartners-Google<br /> Disallow: /<br /> Allow: /</p> <div class='code-block code-block-4' style='margin: 8px 0; clear: both;'> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-9626053315746527" crossorigin="anonymous"></script> <!-- THG - WordPress Ads --> <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-9626053315746527" data-ad-slot="4480804448" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script></div> <p>Sitemap: https://techhindigyan.com/sitemap.xml<br />

User-Agent

ये उस Robot का नाम हैं, जिसके लिए आप Command लिख रहें हैं। जैसे :- Google Bot, Google Bot-Image, AdsBot Google, Google Bot-Mobile, Mediapartners-Google, Etc. आप जिस रोबोट के लिए कोड लिख रहे हैं, User-Agent में उसका नाम लिखेंगे। 

ये Command सभी users के लिए होते हैं। इसके जरिये सर्च इंजन आपके साईट की क्या क्या डाटा देखेगा और कौन कौन सी डाटा नहीं देख पायेगा, वो आप यहाँ से कर सकते हैं।

User-Agent : Mediapartner-Google

Mediapartner-Google, एक Google AdSense Robot हैं। User-Agent के अन्दर इस command को हम तब लिखते हैं, जब हम अपने साईट पर AdSense यूज़ कर रहे होते हैं। अगर आप अपने ब्लॉग या वेबसाइट में AdSense Code का इस्तेमाल करते हैं, तो आप Mediapartner-Google अपने Robots.txt में लिख सकते हैं। 

इससे हम अपने AdSense के Code को Search Engine से छिपा (Hide) सकते हैं। और अगर आप AdSense यूज़ नहीं करते हैं, तो आपके लिए ये जरूरी नहीं हैं।

User-Agent : *

User-Agent के अन्दर हम * चिन्ह का उपयोग तब करते हैं, जब हमें सभी Search Engine Robots को Same Instruction देना होता हैं। मतलब ये कि आप सभी सर्च इंजन को एक ही Command दे रहे हैं।

Disallow

Disallow Command के जरिये हम अपने साईट से जो चाहे वो, Search Engine Robot को Access करने से रोक सकते हैं। जो डाटा हम Search Engine में Index नहीं कराना चाहते हैं, उसे हम Disallow के अन्दर लिख सकते हैं। इसमें हम अपने ब्लॉग के Unwanted Pages, Unwanted Post, Categories, Labels, Tags, Etc. के Links लिख सकते हैं।

Allow

हम अपने साईट के जिस डाटा को सर्च इंजन में Index कराना चाहते हैं, उसे हम Allow के अन्दर लिखते हैं। सर्च इंजन आपके साईट के कौन कौन से डाटा को access कर सकता हैं, वो आप यहाँ से Allow कर सकते हैं। यह Search Engine Bots को आपके Content को Crawl और Index करने की अनुमति देता हैं।

Sitemap

यहाँ से आप Search Engine को अपने साईट के Sitemap की Path बता सकते हैं। जिससे सर्च इंजन को आपके content को rank और Index करने में आसानी हो। Sitemap के बारे में तो आप जानते ही होंगे। हमारे साईट के सभी डाटा का लिन्क यहाँ पर होता हैं। अगर आप Sitemap क्या हैं? Sitemap कैसे बनाये? जानना चाहते हैं। तो आप उस आर्टिकल को पढ़ सकते हैं।

  Read More  

Robots.txt हमारे Sites के लिए क्यों Important हैं?

Robots.txt file वेबसाइट पर मौजूद रहने से सर्च इंजन को वेबसाइट की sitemap को access करने में मदद मिलती है। इससे सर्च इंजन के bots को आसानी से पता चल जाता है कि वेबसाइट में क्या क्या rank करना है, और क्या क्या नहीं। सर्च इंजन bots जब किसी वेबसाइट या ब्लॉग पर आते हैं, तो वह robots.txt file में दिए गए instruction के अनुसार वेबसाइट के कंटेंट को crawl करते हैं।

वहीं, अगर सर्च इंजन bots को वेबसाइट में robots.txt file नहीं मिलेगी तो सर्च इंजन bots confuse हो जाएगा कि उसे वेबसाइट के किस-किस कंटेंट को crawl करना है। इस स्थिति में सर्च इंजन bots वेबसाइट या ब्लॉग के सभी कंटेंट को crawl करना शुरू कर देता है। 

ऐसे में हमारे वेबसाइट पर कुछ private data भी होते हैं जिन्हें हम index नहीं कराना चाहते। पर robots.txt file वेबसाइट पर मौजूद ना होने के कारण सर्च इंजन bots हमारे साइट के सभी डाटा को crawl और index करना शुरू कर देता हैं। इसलिए हमे अपने वेबसाइट पर robots.txt file जरूर से जरूर add करना चाहिए। ये सभी वेबसाइट और ब्लॉग के लिए बहुत ज्यादा महत्वपूर्ण होता हैं।

Robots.txt File कैसे Check करें?

अब सवाल उठता हैं कि Robots.txt File वेबसाइट में हैं या नहीं कैसे चेक करें? तो ये बहुत ही आसान हैं। आप आसानी से Robots.txt file को अपने वेबसाइट पर चेक कर सकते हैं। 

अगर आपको नहीं पता कि आपके साईट पर robots.txt file है या नहीं तो उसके लिए आप अपने web browser के URL Bar में अपने साईट का link लिखेंगे, और last में /robots.txt लिख कर search करेंगे। तो आप पता चल जायेगा की आपके साईट पर यह file हैं या नहीं।

इसके अलावा Google Search Console में जाकर भी आप Robots.txt Check कर सकते हैं, कि आपके साईट पर है या नहीं। उसके लिए आपको Google Search Console पर लॉग इन करना होगा। उसके बाद Crawl >> Robots.txt Tester पर क्लिक करेंगे।

Robots.txt File Blog में कैसे Add करें?

1) सबसे पहले Blogger.com पर जाए।
2) अब Settings पर जाए।
3) उसके बाद Search Preferences पर जाए।
4) अब Custom Robots.txt के Edit पर क्लिक करें।

5) Edit पर क्लिक करने के बाद “Yes” पर Tick करना हैं।
6) Yes पर tick करते ही, एक Text Editor Box आपके सामने दिखेगा। जिसमे आपको ऊपर दिए गए कोड को कॉपी करके यहाँ पेस्ट करना हैं।

7) Sitemap पर आपको अपने ब्लॉग के Sitemap का Link लिखना हैं।
8) उसके बाद Save Changes पर क्लिक करके इस settings को save कर लेना हैं।

तो इस तरह से आप अपने ब्लॉग में Robots.txt File ऐड कर सकते हैं। आप अपने साईट के अनुसार robots.txt Code में बदलाव भी कर सकते हैं। जैसे :- अगर आप AdSense यूज़ नहीं करते तो code में Mediapartner-Google मत लिखें। 

अगर आप Images और Videos भी अपलोड करते हैं तो Googlebot-Image और Googlebot-Video को भी कोड में लिखें। इस तरह आप अपने साईट के अनुसार कोड में changes कर सकते हैं।

Thanks  /  धन्यवाद

सम्बंधित पोस्ट :