Spider
作者：9527
瀏覽：1524次
發(fā)布時(shí)間：2017-04-20
編輯
分享
評(píng)論
贊0
Spider，即搜索引擎蜘蛛，指搜索引擎在互聯(lián)網(wǎng)中，爬行抓取網(wǎng)頁數(shù)據(jù)的機(jī)器程序。搜索引擎蜘蛛的工作是沿著網(wǎng)絡(luò)鏈接漫游Web文檔集合，并將Web文檔的數(shù)據(jù)帶回到搜索引擎數(shù)據(jù)庫中，然后以文檔中包含的未訪問鏈接作為新的起點(diǎn)，繼續(xù)進(jìn)行漫游，直到?jīng)]有滿足條件的新URL為止。蜘蛛在爬行網(wǎng)頁時(shí)，并不一定會(huì)抓取未訪問的鏈接，不抓取只是爬行，就是未被收錄。
猜你喜歡