搜索引擎蜘蛛
作者：數風流人物
瀏覽：1067次
發布時間：2017-10-23
編輯
分享
評論
贊0
搜索引擎蜘蛛是一個自動抓取互聯網上網頁內容的程序，每個搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬蟲、搜索引擎robot。
各大搜索引擎蜘蛛名稱：
百度：百度spider
谷歌：googlebot
搜狗：sogou spider
360搜索：360Spider
有道：YodaoBot
雅虎：Yahoo Slurp
必應：msnbot
Msn:msnbot
以上是常見的搜索引擎蜘蛛（爬蟲），如果你的網站不想讓讓某些蜘蛛抓取，那么可以通過robots.txt來限制爬蟲的抓取。
猜你喜歡