ब्लॉगर Custom Robot Txt फ़ाइल क्या है? इसका उपयोग कैसे करें?

आशुतोष कुमार अप्रैल 10, 2018 2 टिप्पणी 3 मिनट पढ़ें।
custom robot txt file kaya hota hai
              

  हाय दोस्तो, आज इस पोस्ट में जानेंगे कि की ब्लॉगस्पॉट ब्लॉग में को कैसे जोड़ते है? इसकी उपयोगिता importance क्या हैं?

        Robots.txt file एक प्रकार का फ़ाईल होती हैं। जो हमारे ब्लॉग को सुरक्षा प्रदान करता है अथवा हम ये भी कह सकते है की ये हमारे ब्लॉग का अंगरक्षक है।

                        आप इस रोबोट टीएक्सटी (robots.txt) की मदद से अपनी ब्लॉग से संबंधित की भी प्रकार गोपनीय फाईलों को खोज मशीन (Search Engine) से छुपा सकते है।

ब्लॉगर Custom Robot Txt काम कैसे करता है?

कोई भी सर्च इंजन हो, सबके पास एक ख़ास Web Spider या Web Crawler होता है। जिसका मुख्य काम होता है वेबसाइट के content को search करना और अपने सर्च इंजन पर index करना। 

लेकिन वेबसाइट अथवा ब्लॉग के बहुत सारे ऐसे वेबपेज होते है। जिन में से आप कुछ पेजेज को सर्च इंजन पर इंडेक्स करना चाह रहे हों और कुछ को नही।

यही पर Custom Robot txt फ़ाइल औजार का उपयोग करते है।

रोबॉट TXT आपके  आपके ब्लॉगर के ब्लॉग Resources (वेबपेज) में एक HTTP Header जोड़ देता है। 

X-Robots-Tag: noindex

और जब भी कोई वेब crawler आपके ब्लॉग के पेज को visit करता है। अगर crawler को HTTP Responce के साथ X-Robots-Tag: noindex header मिलता है। तो उसे सर्च में index नहीं करता है।

HTTP/1.1 /resource-url 200 OK
...
X-Robot-tag : noindex
...

इसी प्रकार अगर आपके Resource में X-Robot-tag = index मिलता है। तो वो सर्च में इंडेक्स को Ready है।


Custom Robots.txt जोड़ने के लिए निम्न चरण को अनुशरण करें।


  • ब्लॉगर डॉट कॉम वेबसाइट पर जाये। 

  • "setting" विकल्प को चुने।
  • "Search preferences" को चुनें।
  • Costom robots.txt के अंतर्गत "edit"  पर क्लिक करें जो कि Crawler and indexing के section में हैं।
  •  निम्न code को copy कर ले।
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://hindifate.blogspot.com/sitema.xml

  • copy किये गये कोड रिक्त स्थान में भर ले और "Save change" पर क्लिक करे।


Robot.txt में उपयोग होने वाले महत्वपूर्ण Syntax।


#1. User-agent: Mediapartners-Google
ये google adsence के कोड को सर्च परिणाम में दिखने नहीं देता हैं। अत: जो उपभोगता गूगल एडसेंस का उपयोग करते है। ये कोड उन्हें उपयोग करनी चाहिए, ताकि SERPs में javascript न हो। साथ आने वाले उपभोगता को कौन-सा और कैसा विज्ञापन दिखाए, ये भी निर्धारण करता है।


#2. User-agent: *
ये आपके ब्लॉग पर आने वाले उपभोगता के लिए होता हैं।( *) का मतलब होता हैं सभी प्रकार के गूगल वेब crawler। गूगल के वेब crawler को googlebot के नाम से जानते हैं।
आप किसी एक प्रकार के भी googlebot का इस्तेमाल कर सकते हैं। जैसे: googlebot-image, googlebot-video, googlebot-news इतियादी।


#3. Disallow: /search
इस से आप अपने ब्लॉग के किसी भी page, post, level इतियादी चिज़ो को Search Engine में दिखाने से प्रतिबंधित कर सकते है। अर्थात दुसरो शब्दों मे कहे तो, आप अपने गोपनीय चीज़ो को Search Engine के webpage crawler को आदेशित करते हैं की इस page को crawl ना करे।
                                    ऊपर disallow में /search दिया गया है। जिसका मतलब है की ब्लॉग सारे levels को search engine में दिखने से प्रतिबंधित है। जो की अच्छा है।

https://ashucoding.blogspot.com/search/label/blogging

अगर आपको किसी page को index होने से रोकना है। तो वही प्रक्रिया अपनाये जो लेवेल के लिए किया गया था। example के तौर पर disclimer page को रोकना है। जिसका url निम्न है
(https://ashucoding.blogspot.com/p/disclimer.html) तो निम्न सिंटेक्स को प्रयोग करे।
Disallow: /p/disclimer.html


#4. allow:/
ये disallow के ठीक विपरीत काम करता है। इससे हम ब्लॉग के कौन-कौन से भाग को index के लिए अनुमति देना है ये आदेश देते है।


#5. Sitemap
इस में हम आपने ब्लॉग के sitemap के लिंक को डालते है। इससे search engine crawler को वेबसाइट craw करके index करने में सहायता मिलता है।

Robots.txt crawler & indexing के अंतर्गत आता हैं, गलत setting से आपका ब्लॉग को search engine में प्रभाबित कर सकता हैं।


यह पोस्ट आपको कैसे लगीं? या कोई आपके प्रश्न हो तो कृपया कमेंट अवश्य ही लिखें।

इस पोस्ट को अंत तक पढ़ने के लिए आपको बहुत-2 धन्यवाद! 🙏


2 टिप्‍पणियां:

आप कैसे हो?