robots.txt
作者：聚擎
瀏覽：840次
發布時間：2017-06-21
編輯
分享
評論
贊0
這是一種純文本格式的文件，它是搜索引擎來到你網站后第一個爬取的文件，它通常放置于網站根目錄下。robots.txt告訴蜘蛛，我們網站上那些東西允許你去爬行，哪些禁止你去爬行。
猜你喜歡