如何用Python中的NLTK對(duì)中文進(jìn)行分析和處理？我覺得nltk完全可以用來對(duì)付中文。重點(diǎn)研究了漢語分詞和文本表達(dá)的形式。中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞，所以

如何用Python中的NLTK對(duì)中文進(jìn)行分析和處理？

我覺得nltk完全可以用來對(duì)付中文。重點(diǎn)研究了漢語分詞和文本表達(dá)的形式。

中文和英文的主要區(qū)別是中文需要分詞。由于nltk的處理粒度一般都是單詞，所以我們必須先對(duì)文本進(jìn)行切分，然后使用nltk進(jìn)行處理（我們不需要使用nltk進(jìn)行分詞，直接使用分詞包即可）。認(rèn)真推薦口吃分詞，非常好用）。

中文分詞后，文本是一個(gè)長的單詞數(shù)組：[word1，word2，Word3 wordn]，然后您可以使用nltk中的各種方法來處理文本。例如，使用freqdist計(jì)算文本的詞頻，使用bigrams將文本更改為兩個(gè)短語的形式：[（word1，word2），（word2，Word3），（Word3，word4）（wordn-1，wordn）]。

英語中的過去分詞和現(xiàn)在分詞有什么區(qū)別？

1。請(qǐng)記住現(xiàn)在分詞和過去分詞的區(qū)別：現(xiàn)在分詞的動(dòng)作是由它的邏輯主語或修飾名詞完成的。然而，過去分詞的行為與其邏輯主語或修飾名詞之間存在著被動(dòng)關(guān)系。

例如，一個(gè)令人驚訝的故事。在這個(gè)短語中，動(dòng)詞是“激增”。查字典，你會(huì)發(fā)現(xiàn)它的意思，如下圖所示

再舉一個(gè)例子，浪涌男孩。這個(gè)句子的動(dòng)詞仍然是“浪涌”，但它修飾的名詞是“男孩”，因?yàn)槟泻⒑屠擞恐g的關(guān)系是被動(dòng)的。男孩對(duì)某事感到“驚訝”。所以我們把它翻譯成“一個(gè)驚訝的男孩”。如果你把它改成一個(gè)令人驚訝的男孩，它的意思是“一個(gè)令人驚奇的男孩”。

2、分詞作為狀語或其他成分，區(qū)別同上。例如，從太空看，地球看起來很小。為什么用過去分詞？由于動(dòng)詞see與其邏輯主語earth之間的關(guān)系是被動(dòng)的，earth是“被人看見的”，所以我們用過去分詞see來表達(dá)被動(dòng)意義。

希望能激勵(lì)你

為什么自然語言處理很難？

這是非常困難的，但它比前20年自然語言處理的進(jìn)步要好得多。最近，因?yàn)槲覀兿胙芯咳斯ぶ悄茏匀徽Z言處理項(xiàng)目，我們一直在閱讀相關(guān)書籍，從數(shù)學(xué)的奧秘，統(tǒng)計(jì)理論，概率論等。！讀了這么多書之后，我發(fā)現(xiàn)很多東西都取決于你的堅(jiān)實(shí)基礎(chǔ)。為什么自然語言處理的頭20年如此困難，或者沒有進(jìn)展？簡單地說，人的習(xí)慣性思維決定了你對(duì)事物的理解方式。

在過去的20年里，科學(xué)家對(duì)自然語言處理的研究一直局限于或局限于人類學(xué)習(xí)語言的方式。簡而言之，就是用計(jì)算機(jī)來模仿人腦。當(dāng)時(shí)，大多數(shù)科學(xué)家認(rèn)為，機(jī)器要翻譯或識(shí)別語音，就必須讓計(jì)算機(jī)理解我們的語言，而要做到這一點(diǎn)，就必須讓計(jì)算機(jī)有能力模仿人類什么樣的智慧，這是人類理解的普遍規(guī)律，我們不應(yīng)該嘲笑他們，因?yàn)橹挥羞@樣的試錯(cuò)，才能取得今天的成就。

現(xiàn)在，語音識(shí)別和翻譯已經(jīng)做得很好了，但是很多不在我們機(jī)器學(xué)習(xí)研究領(lǐng)域的人仍然錯(cuò)誤地認(rèn)為語音識(shí)別和翻譯是通過理解自然語言的計(jì)算機(jī)來實(shí)現(xiàn)的，而這實(shí)際上是通過數(shù)學(xué)和統(tǒng)計(jì)學(xué)來實(shí)現(xiàn)的。

從規(guī)則到統(tǒng)計(jì)的進(jìn)步是人類對(duì)事物理解的突破。統(tǒng)計(jì)語言模型的建立是當(dāng)今自然語言處理的基礎(chǔ)和關(guān)鍵，但許多事物都會(huì)有其固有的缺陷，無法改變。

數(shù)的關(guān)系，公式的計(jì)算，n元模型在語言模型中的定位，為什么馬爾可夫假設(shè)中n的值這么小，涉及的知識(shí)太多，我這里不能一一回答。我只想說，純自然語言處理不像以前那么混亂，現(xiàn)在比以前好多了。困難不在于它本身，而在于它涉及太多的知識(shí)點(diǎn)。。。。

如何刪除使用NLTK或者python停用詞？

Nltk是Python中處理語言的主要工具包，它可以刪除停止詞、詞性標(biāo)注、分詞和分句。為了安裝nltk和編寫python，我們通常使用集成環(huán)境EPD，EPD具有包管理功能，可以在線安裝。如果不是集成環(huán)境，可以通過PIP install nltk安裝?！稰IP安裝nltknltk.下載（）#彈出一個(gè)選擇框，您可以根據(jù)自己的語義或功能進(jìn)行安裝。一般來說，在實(shí)現(xiàn)分詞、分句、詞性標(biāo)注、去除停止詞等功能時(shí)，需要安裝stopwords和Punkt。出現(xiàn)lookuperror時(shí)，由于缺少相關(guān)模塊，需要安裝Punkt。本模塊主要負(fù)責(zé)分詞功能。與stopwords一樣，有兩種安裝方法。