c++教程 如何用Python中的NLTK對中文進行分析和處理?
如何用Python中的NLTK對中文進行分析和處理?我覺得nltk完全可以用來對付中文。重點研究了漢語分詞和文本表達的形式。中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞,所以
如何用Python中的NLTK對中文進行分析和處理?
我覺得nltk完全可以用來對付中文。重點研究了漢語分詞和文本表達的形式。
中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞,所以我們必須先對文本進行切分,然后使用nltk進行處理(我們不需要使用nltk進行分詞,直接使用分詞包即可)。認真推薦口吃分詞,非常好用)。
中文分詞后,文本是一個長的單詞數(shù)組:[word1,word2,Word3 wordn],然后您可以使用nltk中的各種方法來處理文本。例如,使用freqdist計算文本的詞頻,使用bigrams將文本更改為兩個短語的形式:[(word1,word2),(word2,Word3),(Word3,word4)(wordn-1,wordn)]