搜索引擎常用的中文分詞的方法有哪些？中文分詞算法可以分為兩類。A.第一類是基于字符串匹配，即掃描字符串。如果發(fā)現(xiàn)字符串的子字符串與單詞相同，則視為匹配。這種分詞方法通常會(huì)加入一些啟發(fā)式規(guī)則，如“正向/

搜索引擎常用的中文分詞的方法有哪些？

中文分詞算法可以分為兩類。A.第一類是基于字符串匹配，即掃描字符串。如果發(fā)現(xiàn)字符串的子字符串與單詞相同，則視為匹配。這種分詞方法通常會(huì)加入一些啟發(fā)式規(guī)則，如“正向/反向最大匹配”、“長(zhǎng)詞優(yōu)先”等。該算法具有分塊速度快、時(shí)間復(fù)雜度O（n）、實(shí)現(xiàn)簡(jiǎn)單、效果可接受等優(yōu)點(diǎn)。也有不足之處，即歧義和生詞處理不好。b、 第二種是基于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)。這種切分是基于人工標(biāo)注的詞性和統(tǒng)計(jì)特征，即根據(jù)觀測(cè)數(shù)據(jù)（標(biāo)注語料庫）估計(jì)模型參數(shù)，即訓(xùn)練。在分割階段，利用該模型計(jì)算各種分割的概率，以概率最大的分割結(jié)果作為最終結(jié)果。常見的序列注釋模型有HMM和CRF。這種分詞算法能夠很好地處理歧義和未知詞，分詞效果優(yōu)于前者，但需要大量的人工標(biāo)注數(shù)據(jù)，分詞速度慢。

es搜索是直接搜索數(shù)據(jù)庫嗎？

不，ES的搜索算法是倒排索引，您輸入的文檔按照分割算法進(jìn)行切片分割，每個(gè)分割對(duì)應(yīng)一個(gè)文件號(hào)，當(dāng)搜索關(guān)鍵字時(shí)，將關(guān)鍵字切片，命中存儲(chǔ)的切片，然后根據(jù)點(diǎn)擊率將文檔結(jié)果輸出

訪問網(wǎng)站信息，可以建立數(shù)據(jù)庫并提供查詢系統(tǒng)，我們可以稱之為搜索引擎。根據(jù)工作原理的不同，它們可以分為兩大類：全文搜索引擎和分類目錄。

全文搜索引擎的數(shù)據(jù)庫依賴于一個(gè)叫“蜘蛛”或“爬蟲”的軟件，它通過網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量的網(wǎng)頁信息，并按照一定的規(guī)則進(jìn)行分析和排序。谷歌和百度是典型的全文搜索引擎系統(tǒng)。

分類目錄是人工收集整理網(wǎng)站信息形成的數(shù)據(jù)庫，如雅虎中國(guó)和國(guó)內(nèi)搜狐、新浪、網(wǎng)易分類目錄等。此外，互聯(lián)網(wǎng)上的一些導(dǎo)航網(wǎng)站也可以屬于原來的分類目錄，如“網(wǎng)站之家”。