Back to Question Center
0

Robots.txt मध्ये पूर्ण वेबपृष्ठ मार्ग निर्दिष्ट केल्याने माझी वेबसाइट प्रभावित होईल? - मिहान

1 answers:

हा एक मूर्ख प्रश्न असू शकतो पण मला माझ्या शंका स्पष्ट करण्याची आवश्यकता आहे कारण तो रोबोट्सशी संबंधित आहे. txt .

रोबोट्स वापरून माझ्या वेबसाइटचे काही लेबल पथ टाळण्यासाठी मला आवश्यकता आहे. txt फाइल - designing your own brand.

     वापरकर्ता-एजंट: *
अस्वीकार: / निर्देशिका / wp-admin / path / label    

जर मी असे केले तर ते सर्व मार्गांवर वेगवेगळे परिणाम होतील?

याचा अर्थ, Googlebot निर्देशिका , WP-admin , मार्ग आणि लेबल स्वतंत्रपणे विचार करते?

February 11, 2018

अस्वीकार: फील्ड मध्ये निर्दिष्ट केलेला पथ फक्त एक URL उपसर्ग आहे.

  अस्वीकार: / निर्देशिका / wp-admin / path / label 

आपल्या उदाहरणावरून, हे खालील सर्व URL अवरोधित करेल:

  / निर्देशिका / wp-admin / path / label
/ निर्देशिका / wp-admin / path / labelfoo
/ निर्देशिका / wp-admin / path / label /
/ निर्देशिका / wp-admin / path / label / bar. html 

परंतु ब्लॉक होणार नाही:

  / निर्देशिका / wp-admin / path / foo
/ निर्देशिका / wp-admin / path /
/ निर्देशिका / wp-admin / हॅलो. html
: 

Googlebot वेगळ्या संचयीका दिसत नाही ज्यात पथ तयार होते. हे फक्त एक मूल्य आहे, एक URL उपसर्ग .

Google Developers वेबसाइटवरील अधिक माहिती: https: // विकासक. गुगल. com / webmasters / control-crawl-index / docs / robots_txt

. txt वैयक्तिकरित्या प्रत्येक पथ निर्देशांचे हाताळते

तर, उदाहरणार्थ: -

  वापरकर्ता-एजंट: *
अस्वीकार: / निर्देशिका / wp-admin / path / label 

हे निर्देशिका क्रॉल करण्यास मनाई करेल लेबल परंतु प्रत्येकाने ही निर्देशिका पाळली नाही किंवा त्यास खालीलप्रमाणे नाही.

  वापरकर्ता-एजंट: *
अस्वीकार: / निर्देशिका / wp-admin / path / label / * 

हे निर्देशिका लेबल अंतर्गत सर्व गोष्टी क्रॉल करण्याची अनुमती देणार नाही, ज्यामध्ये सब निर्देशिका आणि त्यांची सामग्री आणि निर्देशिका देखील समाविष्ट आहे.