狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

昵稱：草根香蕉皮

接單：2578   關(guān)注TA

達標率 0%

百度蜘蛛為什么會抓取網(wǎng)站不存在的路徑？

作者：草根香蕉皮 瀏覽：69次 發(fā)布時間：2017-05-24
分享 評論 贊0

做seo我們需要經(jīng)常性的去看我們網(wǎng)站的服務(wù)器日志，也就是iis日志，因為我們需要很好的掌握蜘蛛爬取了我們網(wǎng)站的什么地方，哪個頁面。但是有些朋友有的時候在進行例行檢查的時候，卻發(fā)現(xiàn)蜘蛛爬取了一些我們網(wǎng)站并不存在的頁面，今天SEO管家中心就講解下為什么百度蜘蛛會爬取我們網(wǎng)站沒有的頁面。

1、蜘蛛是怎么發(fā)現(xiàn)我們網(wǎng)站的鏈接的

我們都知道，蜘蛛是沿著鏈接爬來爬去的，他會自動提取網(wǎng)站中所有的鏈接，保存入庫，然后進行爬取，這也就是為什么我們覺得網(wǎng)站的收錄少了或者剛發(fā)布的文章沒有被收錄，我們就會說“引蜘蛛”了，其實引蜘蛛就是發(fā)外鏈了，當這條鏈接唄蜘蛛發(fā)現(xiàn)之后，他就會進行爬取，然后通過一系列復雜的算法之后，決定是否放出該頁面的收錄。

2、為什么會爬到不存在的頁面

一般情況下，有這么幾個問題

a、被對手惡意刷外鏈，也就是說競爭對手惡意的給你發(fā)了很多的不存在的頁面鏈接，當蜘蛛發(fā)現(xiàn)之后就會來爬取

b、以前做的外鏈，后來由于網(wǎng)站改版而某些鏈接沒有及時的去除，蜘蛛定期回訪的時候爬取了這條鏈接

c、此種僅限老域名，之前的網(wǎng)站結(jié)構(gòu)和我們現(xiàn)在的網(wǎng)站結(jié)構(gòu)不一致，也類似于b中的說法

d、robots文件沒有對蜘蛛進行限制

e、程序的原因，導致搜索引擎蜘蛛掉入黑洞

f、url提交或者ping給百度地址有誤

蜘蛛爬取不存在的頁面，一般情況下都是由于這些問題導致的，其中最主要的原因就是外鏈部分，所以我們要經(jīng)常性的去檢查下我們網(wǎng)站的外鏈情況。

下面提供解決辦法：

這些方面綜合來講，一般我們只需要這么做，基本就能夠減少這種情況的發(fā)生，如果是鏈接導致的，那么就去百度站長平臺使用外鏈拒絕工具拒絕掉，并提交網(wǎng)站的死鏈接，同時使用robots屏蔽蜘蛛抓取這些內(nèi)容；如果是程序問題，就修復程序。。。