如何識(shí)別百度真假蜘蛛




百度蜘蛛對(duì)于站長(zhǎng)來(lái)說(shuō)可謂上賓,可是我們?cè)?jīng)遇到站長(zhǎng)這樣提問(wèn):我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的?其實(shí)站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同,如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下:
1、在linux平臺(tái)下,您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
2、在windows平臺(tái)或者IBM OS/2平臺(tái)下,您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來(lái)判斷是否來(lái)自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
3、 在mac os平臺(tái)下,您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來(lái)判斷是否來(lái)自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
Baiduspider IP是多少
即便很多站長(zhǎng)知道了如何判斷百度蜘蛛,仍然會(huì)不斷地問(wèn)“百度蜘蛛IP是多少”。我們理解站長(zhǎng)的意思,是想將百度蜘蛛所在IP加入白名單,只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取,避免被采集等行為。
但我們不建議站長(zhǎng)這樣做。雖然百度蜘蛛的確有一個(gè)IP池,真實(shí)IP在這個(gè)IP池內(nèi)切換,但是我們無(wú)法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以,我們建議站長(zhǎng)勤看日志,發(fā)現(xiàn)惡意蜘蛛后放入黑名單,以保證百度的正常抓取。
同時(shí),我們?cè)俅螐?qiáng)調(diào),通過(guò)IP來(lái)分辨百度蜘蛛的屬性是非常可笑的事情,所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來(lái)都不存在的。