robots文件的規(guī)范寫法

robots文件的規(guī)范寫法

以下是應屆畢業(yè)生網(wǎng)為大家整理好的有關(guān)SEO網(wǎng)站優(yōu)化的知識，希望對大家有所幫助！

　　一、概念

　　1、網(wǎng)站和搜索引擎之間的協(xié)議文件

　　2、蜘蛛爬行網(wǎng)站的第一個要訪問的文件

　　3、屏蔽內(nèi)容：不想被抓取的隱私內(nèi)容,后臺、數(shù)據(jù)庫文件、模板、插件文件...或者做了偽靜態(tài)就屏蔽動態(tài)路徑

　　二、robots語法

　　1、User-agent 定義搜索引擎類型

　　2、Disallow 定義禁止抓取收錄地址

　　3、Allow 定義允許抓取收錄地址

　　4、* 匹配0或多個任意字符

　　5、$ 結(jié)束符

　　6、% 代表中文路徑

　　7、? 代表動態(tài)路徑

　　8、Sitemap 網(wǎng)站地圖

　　三、robots寫法舉例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的規(guī)范寫法】相關(guān)文章：

淺談進一步了解對robots文件的認識03-22

證券部門規(guī)章及規(guī)范性文件05-12

悼詞的寫法04-19

監(jiān)理文件資料的類型-監(jiān)理文件資料分類03-27

什么是DOS文件03-20

HTML文件的增強標記12-26

ISO文件怎么安裝01-12

hosts文件位置在哪03-14

隱藏電腦文件的方法03-19