狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

robots協議

作者：紫羅蘭 瀏覽：710次 發布時間：2018-01-16
編輯 分享 評論 贊0

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol)，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　是搜索引擎的一部分來定位和索引互聯網上的每個可能回答搜索請求的網頁，通常只在討論 robots的HTML標簽或者robots.txt文件的時候使用。


評論(0人參與，0條評論)

發布評論

最新評論

詞條統計

  • 瀏覽次數：710次
  • 編輯次數：0次歷史版本
  • 最近更新：2018-01-17
  • 創建者：紫羅蘭

    • 相關詞條

    相關問答

    相關百科

    相關資訊