狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

昵稱：數(shù)風流人物

接單：535   關(guān)注TA

達標率 0%

比較詳細的robots.txt協(xié)議文件寫法

作者：數(shù)風流人物 瀏覽：178次 發(fā)布時間：2017-10-10
分享 評論 贊0

很多建站系統(tǒng)，在建成網(wǎng)站后，都網(wǎng)站根目錄，默認有robots.txt協(xié)議文件。在網(wǎng)站優(yōu)化競爭日益加劇的今天，原本設(shè)立之初無優(yōu)化因素的robots.txt文件也被最大化使用，掌握其寫法，有備無患。


一：robots.txt協(xié)議文件有什么用？


搜索引擎訪問一個網(wǎng)站的時候，最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛，哪些網(wǎng)站頁面可以被抓取，哪些禁止抓取。表面來看，這個功能作用有限。從搜索引擎優(yōu)化的角度來看，可以通過屏蔽頁面，達到集中權(quán)重的作用，這，也是優(yōu)化人員最為看重的地方。


二：網(wǎng)站設(shè)置robots.txt的幾個原因。


1：設(shè)置訪問權(quán)限保護網(wǎng)站安全。


2：禁止搜索引擎爬取無效頁面，集中權(quán)值到主要頁面。


三：怎么用標準寫法書寫協(xié)議？


有幾個概念需掌握。


User-agent表示定義哪個搜索引擎，如User-agent：Baiduspider，定義百度蜘蛛。


Disallow表示禁止訪問。


Allow表示運行訪問。


通過以上三個命令，可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。


四：robots.txt文件放在那里？


此文件需放置在網(wǎng)站的根目錄，且對字母大小有限制，文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。且命令之后要有一個英文字符空格。


五：哪些時候需要使用該協(xié)議。


1：無用頁面，很多網(wǎng)站都有聯(lián)系我們，用戶協(xié)議等頁面，這些頁面相對于搜索引擎優(yōu)化來講，作用不大，此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。


2：動態(tài)頁面，企業(yè)類型站點屏蔽動態(tài)頁面，有利于網(wǎng)站安全。且多個網(wǎng)址訪問同一頁面，會造成權(quán)重分散。因此，一般情況下，屏蔽動態(tài)頁面，保留靜態(tài)或偽靜態(tài)頁面。


3：網(wǎng)站后臺頁面，網(wǎng)站后臺也可以歸類于無用頁面，禁止收錄有百益而無一害。