基于bert的文本相似度 如何用python計算文本的相似度？
如何用python計算文本的相似度？第1步：將每個網(wǎng)頁文本分成單詞，形成一袋單詞。第三步：統(tǒng)計網(wǎng)頁（文檔）總數(shù)M。第三步：統(tǒng)計第一個網(wǎng)頁n中的字?jǐn)?shù)，計算第一個網(wǎng)頁的第一個字在網(wǎng)頁n中出現(xiàn)的次數(shù)，然后計
如何用python計算文本的相似度？
第1步：將每個網(wǎng)頁文本分成單詞，形成一袋單詞。第三步：統(tǒng)計網(wǎng)頁（文檔）總數(shù)M。第三步：統(tǒng)計第一個網(wǎng)頁n中的字?jǐn)?shù)，計算第一個網(wǎng)頁的第一個字在網(wǎng)頁n中出現(xiàn)的次數(shù)，然后計算出該字在所有文檔M中出現(xiàn)的次數(shù)，則該字的TF IDF為：n/n*1/（M/M）（還有其他規(guī)范化公式，這里是最基本、最直觀的公式）。第四步：重復(fù)第三步計算網(wǎng)頁中所有單詞的TF-IDF。第五步：重復(fù)第四步計算所有網(wǎng)頁中每個單詞的TF-IDF值。三。用戶查詢處理的第一步：用戶查詢的分詞。第二步是根據(jù)web數(shù)據(jù)庫（文檔）的數(shù)據(jù)計算用戶查詢中每個詞的TF-IDF值。4余弦相似度用于計算用戶查詢與每個網(wǎng)頁之間的夾角。角度越小，越相似。