百度中文分詞
作者：徐小樣
瀏覽：1282次
發布時間：2017-05-22
編輯
分享
評論
贊0
首先根據分割符號將查詢分開，然后看看是否有重復的字符串，如果有，就拋棄多余的，只保留一個，接著判斷是否有英文或者數字，如果有的話，把英文或者數字當作一個整體保留并把前后的中文切開。
如果字符串只包含小于等于3個中文字符的話，那就保留不動，當字符串長度大于4個中文字符的時候，百度的分詞程序才出馬大干快上，把這個字符串肢解掉。
猜你喜歡