狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

百度站長平臺-抓取異常的原因有哪些

作者:月光邊境 瀏覽:253 發布時間:2017-12-10
分享 評論 0

什么是抓取異常

  Baiduspider無法正常抓取,就是抓取異常。

  抓取異常對網站有哪些影響

  對于大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、權重上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。

  抓取異常的原因有哪些

  一、網站異常

  1、dns異常

  當Baiduspider無法解析您網站的IP時,會出現DNS異常。可能是您的網站IP地址錯誤,或者域名服務商把Baiduspider封禁。請使用WHOIS或者host查詢自己網站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯系,更新您的IP地址。

  2、連接超時

  抓取請求連接超時,可能原因服務器過載,網絡不穩定

  3、抓取超時

  抓取請求連接建立后,下載頁面速度過慢,導致超時,可能原因服務器過載,帶寬不足

  4、連接錯誤

  無法連接或者連接建立后對方服務器拒絕

  二、鏈接異常

  1、訪問被拒絕

  爬蟲發起抓取,httpcode返回碼是403

  2、找不到頁面

  爬蟲發起抓取,httpcode返回碼是404

  3、服務器錯誤

  爬蟲發起抓取,httpcode返回碼是5XX

  4、其他錯誤

  爬蟲發起抓取,httpcode返回碼是4XX,不包括403和404