robots.txt
作者：聚擎
瀏覽：826次
發布時間：2017-06-03
編輯
分享
評論
贊0
搜索引擎通過一種程序robot（又稱spider），自動訪問互聯網上的網頁并獲取網頁信 息。您可以在您的網站中創建一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot 訪問的部分，這樣，該網站的部分或全部內容就可以不被搜索引擎收錄了，或者指定搜 索引擎只收錄指定的內容。
猜你喜歡