Costom Robot Txt फ़ाइल क्या है? इसका उपयोग कैसे करें?

आशुतोष कुमार अप्रैल 10, 2018 2 टिप्पणी 3 मिनट पढ़ें।

                हाय दोस्तो, आज इस पोस्ट में जानेंगे कि की ब्लॉगस्पॉट ब्लॉग में को कैसे जोड़ते है? इसकी उपयोगिता importance क्या हैं?

        Robots.txt file एक प्रकार का फ़ाईल होती हैं। जो हमारे ब्लॉग को सुरक्षा प्रदान करता है अथवा हम ये भी कह सकते है की ये हमारे ब्लॉग का अंगरक्षक है।

                        आप इस रोबोट टीएक्सटी (robots.txt) की मदद से अपनी ब्लॉग से संबंधित की भी प्रकार गोपनीय फाईलों को खोज मशीन (Search Engine) से छुपा सकते है।

Custom Robots.txt जोड़ने के लिए निम्न चरण को अनुशरण करें।


  • ब्लॉगर डॉट कॉम वेबसाइट पर जाये। 

  • "setting" विकल्प को चुने।
  • "Search preferences" को चुनें।
  • Costom robots.txt के अंतर्गत "edit"  पर क्लिक करें जो कि Crawler and indexing के section में हैं।
  •  निम्न code को copy कर ले।
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://hindifate.blogspot.com/sitema.xml

  • copy किये गये कोड रिक्त स्थान में भर ले और "Save change" पर क्लिक करे।

Robot.txt में उपयोग होने वाले महत्वपूर्ण Syntax।

User-agent: Mediapartners-Google
ये google adsence के कोड को सर्च परिणाम में दिखने नहीं देता हैं। अत: जो उपभोगता गूगल एडसेंस का उपयोग करते है। ये कोड उन्हें उपयोग करनी चाहिए, ताकि SERPs में javascript न हो। साथ आने वाले उपभोगता को कौन-सा और कैसा विज्ञापन दिखाए, ये भी निर्धारण करता है।

User-agent: *
ये आपके ब्लॉग पर आने वाले उपभोगता के लिए होता हैं।( *) का मतलब होता हैं सभी प्रकार के गूगल वेब crawler। गूगल के वेब crawler को googlebot के नाम से जानते हैं।
आप किसी एक प्रकार के भी googlebot का इस्तेमाल कर सकते हैं। जैसे: googlebot-image, googlebot-video, googlebot-news इतियादी।

Disallow: /search
इस से आप अपने ब्लॉग के किसी भी page, post, level इतियादी चिज़ो को Search Engine में दिखाने से प्रतिबंधित कर सकते है। अर्थात दुसरो शब्दों मे कहे तो, आप अपने गोपनीय चीज़ो को Search Engine के webpage crawler को आदेशित करते हैं की इस page को crawl ना करे।
                                    ऊपर disallow में /search दिया गया है। जिसका मतलब है की ब्लॉग सारे levels को search engine में दिखने से प्रतिबंधित है। जो की अच्छा है।

https://ashucoding.blogspot.com/search/label/blogging

अगर आपको किसी page को index होने से रोकना है। तो वही प्रक्रिया अपनाये जो लेवेल के लिए किया गया था। example के तौर पर disclimer page को रोकना है। जिसका url निम्न है
(https://ashucoding.blogspot.com/p/disclimer.html) तो निम्न सिंटेक्स को प्रयोग करे।
Disallow: /p/disclimer.html

allow:/
ये disallow के ठीक विपरीत काम करता है। इससे हम ब्लॉग के कौन-कौन से भाग को index के लिए अनुमति देना है ये आदेश देते है।

Sitemap
इस में हम आपने ब्लॉग के sitemap के लिंक को डालते है। इससे search engine crawler को वेबसाइट craw करके index करने में सहायता मिलता है।

Robots.txt crawler & indexing के अंतर्गत आता हैं, गलत setting से आपका ब्लॉग को search engine में प्रभाबित कर सकता हैं।

2 टिप्‍पणियां:

आप कैसे हो?