什么是自然語言處理 為什么自然語言處理很難?
為什么自然語言處理很難?這是非常困難的,但它比前20年自然語言處理的進(jìn)步要好得多。最近,因?yàn)槲覀兿胙芯咳斯ぶ悄茏匀徽Z言處理項(xiàng)目,我們一直在閱讀相關(guān)書籍,從數(shù)學(xué)的奧秘,統(tǒng)計(jì)理論,概率論等。!讀了這么多書
為什么自然語言處理很難?
這是非常困難的,但它比前20年自然語言處理的進(jìn)步要好得多。最近,因?yàn)槲覀兿胙芯咳斯ぶ悄茏匀徽Z言處理項(xiàng)目,我們一直在閱讀相關(guān)書籍,從數(shù)學(xué)的奧秘,統(tǒng)計(jì)理論,概率論等。!讀了這么多書之后,我發(fā)現(xiàn)很多東西都取決于你的堅(jiān)實(shí)基礎(chǔ)。為什么自然語言處理的頭20年如此困難,或者沒有進(jìn)展?簡單地說,人的習(xí)慣性思維決定了你對事物的理解方式。
在過去的20年里,科學(xué)家對自然語言處理的研究一直局限于或局限于人類學(xué)習(xí)語言的方式。簡而言之,就是用計(jì)算機(jī)來模仿人腦。當(dāng)時(shí),大多數(shù)科學(xué)家認(rèn)為,機(jī)器要翻譯或識別語音,就必須讓計(jì)算機(jī)理解我們的語言,而要做到這一點(diǎn),就必須讓計(jì)算機(jī)有能力模仿人類什么樣的智慧,這是人類理解的普遍規(guī)律,我們不應(yīng)該嘲笑他們,因?yàn)橹挥羞@樣的試錯,才能取得今天的成就。
現(xiàn)在,語音識別和翻譯已經(jīng)做得很好了,但是很多不在我們機(jī)器學(xué)習(xí)研究領(lǐng)域的人仍然錯誤地認(rèn)為語音識別和翻譯是通過理解自然語言的計(jì)算機(jī)來實(shí)現(xiàn)的,而這實(shí)際上是通過數(shù)學(xué)和統(tǒng)計(jì)學(xué)來實(shí)現(xiàn)的。
從規(guī)則到統(tǒng)計(jì)的進(jìn)步是人類對事物理解的突破。統(tǒng)計(jì)語言模型的建立是當(dāng)今自然語言處理的基礎(chǔ)和關(guān)鍵,但許多事物都會有其固有的缺陷,無法改變。
數(shù)的關(guān)系,公式的計(jì)算,n元模型在語言模型中的定位,為什么馬爾可夫假設(shè)中n的值這么小,涉及的知識太多,我這里不能一一回答。我只想說,純自然語言處理不像以前那么混亂,現(xiàn)在比以前好多了。困難不在于它本身,而在于它涉及太多的知識點(diǎn)。。。。
什么是自然語言處理(NLP)?
自然語言,簡而言之,是人類的自然語言,你說,寫,讀或理解。它也是溝通的媒介。
我們使用計(jì)算機(jī)算法、數(shù)學(xué)概念和統(tǒng)計(jì)技術(shù)來處理這些語言,以便機(jī)器能夠像人類一樣理解它們。
為什么說自然語言處理是人工智能的核心?
具體來說,主要有兩個(gè)原因:
語音助手、智能揚(yáng)聲器、智能機(jī)器人、語音搜索我們可以清晰地感受到,語音交互已經(jīng)成為智能時(shí)代人機(jī)交互的主流方式。
什么是互動?簡而言之,它是建立在對一句話、一件事的理解和兩個(gè)人之間的言語交流的基礎(chǔ)上的。在理解方面,不能用簡單的語音識別來處理,而是涉及到“自然語言處理”,即句子切分和上下文理解。這樣,讓人工智能像人類一樣“理解”句子,才能準(zhǔn)確理解用戶給出的指令,從而準(zhǔn)確執(zhí)行任務(wù),實(shí)現(xiàn)流暢的語音交互過程。
此前,“人工智能之父”馬文·明斯基曾說過,人工智能領(lǐng)域最終要解決的技術(shù)問題是“語義分析”。圖靈機(jī)器人聯(lián)合創(chuàng)始人、首席運(yùn)營官郭佳也表示,人腦是人類擁有無限智慧的理由,是“智慧”的體現(xiàn)。
目前,人工智能更多的是“學(xué)習(xí)”人類。對于其“智能”的表現(xiàn),我們現(xiàn)在更多的是關(guān)注它能否在與人的互動中真正做到既準(zhǔn)確又自然。為了達(dá)到這個(gè)目的,我們需要達(dá)到“理解”,即自然語言的理解。