狠狠网/色综合久久久久综合体桃花网/日本护士三aaaaaa/久久久久久综合一区中文字幕

或者

昵稱：Promise.（承諾）

接單：208   關注TA

達標率 0%

Robots協議-用法舉例

作者：Promise.（承諾） 瀏覽：102次 發布時間：2017-08-27
分享 評論 贊0

    例1. 禁止所有搜索引擎訪問網站的任何部分


    User-agent: *


    Disallow: /


    例2. 允許所有的robot訪問 （或者也可以建一個空文件 “/robots.txt” file）


    User-agent: *


    Allow:　/


    例3. 僅禁止Baiduspider訪問您的網站


    User-agent: Baiduspider


    Disallow: /


    例4. 僅允許Baiduspider訪問您的網站


    User-agent: Baiduspider


    Allow: /


    User-agent: *


    Disallow: /