狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

如何識(shí)別百度真假蜘蛛

作者:dengying 瀏覽:2154 發(fā)布時(shí)間:2015-05-06
編輯 分享 評(píng)論 0

  

    百度蜘蛛對(duì)于站長(zhǎng)來(lái)說(shuō)可謂上賓,可是我們?cè)?jīng)遇到站長(zhǎng)這樣提問(wèn):我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的?其實(shí)站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同,如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下:

  1、在linux平臺(tái)下,您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  2、在windows平臺(tái)或者IBM OS/2平臺(tái)下,您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來(lái)判斷是否來(lái)自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  3、 在mac os平臺(tái)下,您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來(lái)判斷是否來(lái)自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  Baiduspider IP是多少

  即便很多站長(zhǎng)知道了如何判斷百度蜘蛛,仍然會(huì)不斷地問(wèn)“百度蜘蛛IP是多少”。我們理解站長(zhǎng)的意思,是想將百度蜘蛛所在IP加入白名單,只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取,避免被采集等行為。

  但我們不建議站長(zhǎng)這樣做。雖然百度蜘蛛的確有一個(gè)IP池,真實(shí)IP在這個(gè)IP池內(nèi)切換,但是我們無(wú)法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以,我們建議站長(zhǎng)勤看日志,發(fā)現(xiàn)惡意蜘蛛后放入黑名單,以保證百度的正常抓取。

  同時(shí),我們?cè)俅螐?qiáng)調(diào),通過(guò)IP來(lái)分辨百度蜘蛛的屬性是非常可笑的事情,所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來(lái)都不存在的。


詞條統(tǒng)計(jì)

  • 瀏覽次數(shù):2154
  • 編輯次數(shù):0次歷史版本
  • 最近更新:2015-05-06
  • 創(chuàng)建者:dengying
  • 相關(guān)詞條

    相關(guān)問(wèn)答

    相關(guān)百科

    相關(guān)資訊