ब्लॉगर Custom Robot Txt फ़ाइल क्या है? इसका उपयोग कैसे करें?

              

  हाय दोस्तो, आज इस पोस्ट में जानेंगे कि की ब्लॉगस्पॉट ब्लॉग में को कैसे जोड़ते है? इसकी उपयोगिता importance क्या हैं?

        Robots.txt file एक प्रकार का फ़ाईल होती हैं। जो हमारे ब्लॉग को सुरक्षा प्रदान करता है अथवा हम ये भी कह सकते है की ये हमारे ब्लॉग का अंगरक्षक है।

                        आप इस रोबोट टीएक्सटी (robots.txt) की मदद से अपनी ब्लॉग से संबंधित की भी प्रकार गोपनीय फाईलों को खोज मशीन (Search Engine) से छुपा सकते है।

इसे भी पढ़े 

ब्लॉगर Custom Robot Txt काम कैसे करता है?

X-Robots-Tag: noindex

इसी प्रकार अगर आपके Resource में X-Robot-tag = index मिलता है। तो वो सर्च में इंडेक्स हो जायेगा।

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://hindifate.blogspot.com/sitema.xml

ये google adsence के कोड को सर्च परिणाम में दिखने नहीं देता हैं। अत: जो उपभोगता गूगल एडसेंस का उपयोग करते है। ये कोड उन्हें उपयोग करनी चाहिए, ताकि SERPs में javascript न हो। साथ आने वाले उपभोगता को कौन-सा और कैसा विज्ञापन दिखाए, ये भी निर्धारण करता है।


#2. User-agent: *

ये आपके ब्लॉग पर आने वाले उपभोगता के लिए होता हैं।( *) का मतलब होता हैं सभी प्रकार के गूगल वेब crawler। गूगल के वेब crawler को googlebot के नाम से जानते हैं।
आप किसी एक प्रकार के भी googlebot का इस्तेमाल कर सकते हैं। जैसे: googlebot-image, googlebot-video, googlebot-news इतियादी।


#3. Disallow: /search

इस से आप अपने ब्लॉग के किसी भी page, post, level इतियादी चिज़ो को Search Engine में दिखाने से प्रतिबंधित कर सकते है। अर्थात दुसरो शब्दों मे कहे तो, आप अपने गोपनीय चीज़ो को Search Engine के webpage crawler को आदेशित करते हैं की इस page को crawl ना करे।
                                    ऊपर disallow में /search दिया गया है। जिसका मतलब है की ब्लॉग सारे levels को search engine में दिखने से प्रतिबंधित है। जो की अच्छा है।

https://ashucoding.blogspot.com/search/label/blogging

अगर आपको किसी page को index होने से रोकना है। तो वही प्रक्रिया अपनाये जो लेवेल के लिए किया गया था। example के तौर पर disclimer page को रोकना है। जिसका url निम्न है
(https://ashucoding.blogspot.com/p/disclimer.html) तो निम्न सिंटेक्स को प्रयोग करे।
Disallow: /p/disclimer.html


#4. allow:/

ये disallow के ठीक विपरीत काम करता है। इससे हम ब्लॉग के कौन-कौन से भाग को index के लिए अनुमति देना है ये आदेश देते है।


#5. Sitemap

इस में हम आपने ब्लॉग के sitemap के लिंक को डालते है। इससे search engine crawler को वेबसाइट craw करके index करने में सहायता मिलता है।