robots文件怎么寫
作者：dengying
瀏覽：2062次
發布時間：2015-04-22
編輯
分享
評論
贊0
現在基本上所有的優化站點中都有加入robots文件，但是也有一部分SEOer們對于robots文件不是很了解。今天我們就一起來學習學習關于robots文件的相關內容。
1、每一個網站中只能有一個robots文件，文件命名都是robots.txt
2、robots.txt文件正確的位置是放在優化網站的根目錄下，如果位于子目錄下則該文件無法訪問
3、robots.txt文件不能夠阻止任何文件的訪問，只能夠阻止搜索引擎對內容的索引，它是一個公共資源，如果使用不正確，就會將相關內容暴露給黑客
4、robots.txt文件的寫法
User-agent:*
Disallow:/
阻止搜索引擎對任何內容的訪問，網站所有頁面將不會被收錄
User-agent:*
Disallow:/directory
阻止對directory開始的所有信息的訪問
User-agent:*
Disallow:/directory/
阻止搜索引擎對/directory/目錄的訪問
猜你喜歡