狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

　　前兩天人們注意到Google Adsense蜘蛛所抓取的網(wǎng)頁(yè)會(huì)出現(xiàn)在搜索結(jié)果中。Matt Cutts在他的博客里迅速的做出了回應(yīng)，對(duì)這種現(xiàn)象做了進(jìn)一步解釋。

　　簡(jiǎn)單來(lái)說(shuō)，Google在完成大爸爸?jǐn)?shù)據(jù)中心升級(jí)后，各種蜘蛛抓取網(wǎng)頁(yè)的機(jī)制產(chǎn)生了變化。不是各個(gè)蜘蛛直接抓取網(wǎng)頁(yè)，而是由一個(gè)爬行緩存代理crawl caching proxy抓取網(wǎng)頁(yè)，然后不同的蜘蛛從這個(gè)緩存中獲取內(nèi)容，從而節(jié)省了帶寬。

　　Matt Cutts的帖子比較完整的翻譯可以在幻滅和小添的博客里看到。

　　我要補(bǔ)充的是：第一：Matt Cutts特意指出，這個(gè)新的抓取機(jī)制不會(huì)讓你的網(wǎng)頁(yè)被抓取的更快，也不會(huì)對(duì)排名有任何影響。這個(gè)爬行緩存代理也不影響各個(gè)蜘蛛本來(lái)應(yīng)該爬行的頻率和時(shí)間表。只不過(guò)各個(gè)蜘蛛不直接爬行網(wǎng)頁(yè)，而是從緩存中獲取。

　　第二：更引起我注意的是，Matt Cutts說(shuō)這個(gè)爬行緩存代理是大爸爸更新之后才有的。因?yàn)檫\(yùn)行的很順利，在其他人發(fā)現(xiàn)這種現(xiàn)象之前，Matt Cutts自己沒(méi)意識(shí)到這種新的機(jī)制已經(jīng)運(yùn)行了。這說(shuō)明Matt Cutts并不能掌握所有各個(gè)部門的最新情況，那么還有什么是Matt Cutts也還不知道的呢？

　　第三：Matt Cutts講這個(gè)機(jī)制的目標(biāo)是節(jié)省帶寬，而不是隱藏頁(yè)面（cloaked page）檢測(cè)。我覺(jué)得弦外之音是，利用同樣的技術(shù)，Google完全可以用其他的蜘蛛來(lái)檢測(cè)隱藏頁(yè)面。當(dāng)然也可能是我過(guò)度敏感了。

　　另外，最近很多網(wǎng)站出現(xiàn)被收錄的頁(yè)面數(shù)目急劇下降的現(xiàn)象，我懷疑和這個(gè)新的頁(yè)面抓取方法造成的混亂有關(guān)。很顯然不是排名算法改變導(dǎo)致收錄的網(wǎng)頁(yè)數(shù)目下降，而是蜘蛛爬行的問(wèn)題。