如何用bert模型做翻譯任務(wù)？Bert不能做翻譯任務(wù)，因為翻譯任務(wù)是NLP生成任務(wù)，Bert目前不能做。Bert所能做的主要工作如下：1。文本分類任務(wù)，如情感分類，2。序列標(biāo)注任務(wù)，如分詞實體識別、詞

如何用bert模型做翻譯任務(wù)？

Bert不能做翻譯任務(wù)，因為翻譯任務(wù)是NLP生成任務(wù)，Bert目前不能做。Bert所能做的主要工作如下：1。文本分類任務(wù)，如情感分類，2。序列標(biāo)注任務(wù)，如分詞實體識別、詞性標(biāo)注等。文本分類算法主要包括樸素貝葉斯分類算法、支持向量機(jī)分類算法、KNN算法和決策樹算法。

樸素貝葉斯分類算法主要利用文本中特征項和詞的類別的組合概率來估計文本屬于哪個類別的概率。

支持向量機(jī)（SVM）主要利用特征提取技術(shù)將文本信息轉(zhuǎn)化為詞向量，然后計算詞向量與訓(xùn)練類數(shù)據(jù)的相似度。

KNN算法是在訓(xùn)練集中找到最近的K個文本，并根據(jù)這些文本的分類來預(yù)測要分類的文本屬于哪個類別。

決策樹算法是在樹的基礎(chǔ)上建立預(yù)測模型，根據(jù)預(yù)測模型對文本進(jìn)行分類預(yù)測。

目前文本分類算法常用的有哪些呢？

Transformer是一種基于編碼器-解碼器框架的神經(jīng)網(wǎng)絡(luò)模型，用于處理序列間的問題，如機(jī)器翻譯、文本分類等。Transformer之所以流行，是因為Bert的預(yù)訓(xùn)練語言模型，因為Bert是基于Transformer的編碼器框架。其中最重要的是transformer提出的一個思想：摒棄了神經(jīng)網(wǎng)絡(luò)中RNN和CNN的約束，提出了多頭部注意機(jī)制，這是一種自注意機(jī)制，有效地提高了模型的性能和效率。所以后期的許多神經(jīng)網(wǎng)絡(luò)模型都是在其基礎(chǔ)上的擴(kuò)展。

你可以理解。變壓器可以看作是RNN和CNN的替代品