用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時正確率很高，有時很低，為什么？其實這個問題的實質(zhì)是，如果我們用機器學(xué)習(xí)算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排

用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時正確率很高，有時很低，為什么？

其實這個問題的實質(zhì)是，如果我們用機器學(xué)習(xí)算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排序再訓(xùn)練一遍，第一個模型和第二個模型是一樣的嗎？

這可能是因為神經(jīng)網(wǎng)絡(luò)用增益或權(quán)重的隨機值初始化，然后每個模擬在訓(xùn)練階段有不同的起點。如果您希望始終保持相同的初始權(quán)重，可以嘗試為初始權(quán)重修復(fù)種子以消除問題。

如果我們深入研究這個問題，我們可以根據(jù)ml算法的“確定性”來對其進行分類。當(dāng)從同一個數(shù)據(jù)集進行訓(xùn)練時：

一個是總是生成相同的模型，并且記錄以相同的順序呈現(xiàn)；

另一個是總是生成不同的模型，并且記錄順序不同。

在實踐中，大多數(shù)是“不確定的”。模型變化的原因可能是機器學(xué)習(xí)算法本身存在隨機游走、不同權(quán)值的隨機初始化、不同分量的概率分布抽樣來分配優(yōu)化函數(shù)。

雖然模型的“不確定性”可能會對單個訓(xùn)練結(jié)果造成干擾，但我們也可以用“不確定性”來確認模型的穩(wěn)定性，如決策樹、支持向量機（SVM）、神經(jīng)網(wǎng)絡(luò)等，最終可以通過多次迭代來確認模型的穩(wěn)定性。

機器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集是什么格式的？

機器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集是VBP格式的。visualbasic工程由窗口、程序代碼模塊、ActiveX控件和應(yīng)用程序所需的環(huán)境設(shè)置組成。在應(yīng)用程序設(shè)計過程中，visualbasic保存了一個擴展名為VBP的工程文件。項目文件列出了應(yīng)用程序所需的所有文件，包括表單和程序代碼模塊。此外，項目文件還列出了所有使用的程序構(gòu)建塊，如ActiveX控件。項目本身并不控制這些文件和程序構(gòu)建塊，因此用戶可以在多個項目中使用同一個文件。當(dāng)用戶打開項目時，將加載項目文件中列出的文件。除項目文件外，項目還包括表單文件、ActiveX控件、visualbasic類模塊、資源文件、用戶控件、用戶文檔和ActiveX設(shè)計器。?在組織工程中，最好為每個項目創(chuàng)建一個單獨的目錄。?完成應(yīng)用程序后，如果要發(fā)布，必須先將其編譯成可執(zhí)行文件。編譯應(yīng)用程序就是創(chuàng)建一個可執(zhí)行文件，其中包括特定項目的表單和代碼模塊。我希望我能幫助你。

對數(shù)據(jù)集訓(xùn)練時，只對訓(xùn)練集進行訓(xùn)練還是都訓(xùn)練？

如果您想測試您自己的數(shù)據(jù)集，您需要將其分為訓(xùn)練集、驗證集和測試集。

我們訓(xùn)練機器學(xué)習(xí)模型使用現(xiàn)有數(shù)據(jù)預(yù)測未知數(shù)據(jù)。我們通常把模型對未知數(shù)據(jù)的預(yù)測能力稱為泛化能力。為了評價模型的泛化能力，通常將數(shù)據(jù)分為訓(xùn)練集和測試集。訓(xùn)練集用來訓(xùn)練模型，測試集用來評價模型的泛化能力。

這里有幾點需要注意：

通常80%的數(shù)據(jù)集用作訓(xùn)練集，20%用作測試集；

通常我們需要在開始構(gòu)建模型之前劃分數(shù)據(jù)集，以防止數(shù)據(jù)窺探錯誤，也就是說，我們應(yīng)該避免過多地了解測試集的樣本特征，并且防止我們選擇對測試集數(shù)據(jù)有幫助的模型，這將導(dǎo)致過度的結(jié)果，一般來說，我們在建立模型時需要對數(shù)據(jù)進行處理，包括一些數(shù)據(jù)清洗、數(shù)據(jù)特征縮放（標準化或規(guī)范化）。此時，我們只需要對訓(xùn)練集執(zhí)行這些操作，然后將從訓(xùn)練集獲得的參數(shù)應(yīng)用到測試集，也就是說在工作流中，您不能使用在測試數(shù)據(jù)集上計算的任何結(jié)果。例如，我們得到的屬性中可能缺少值，因為在這些操作之前，我們已經(jīng)將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。通常的做法是通過計算屬性值的中值來填充缺少的值。請注意，屬性值的中值是由訓(xùn)練集中的數(shù)據(jù)計算的。當(dāng)我們得到一個模型時，如果你想在模型的測試誤差要被測試到近似泛化誤差的時候，測試集中可能會有一些缺失的值。此時，由訓(xùn)練集計算的中值填充相應(yīng)屬性的缺失值。

機器學(xué)習(xí)中訓(xùn)練集，驗證集和測試集的作用分別是什么？

機器學(xué)習(xí)中使用的數(shù)據(jù)集可分為訓(xùn)練集、驗證集和測試集。其中，訓(xùn)練集用于訓(xùn)練模型并定義模型參數(shù)；有效集用于選擇模型的超參數(shù)，如學(xué)習(xí)率、批量大小、損失函數(shù)等；測試集用于測試模型確定后模型在實際數(shù)據(jù)中的效果。

比如準備高考，訓(xùn)練集就是平時通過做習(xí)題來掌握知識點的習(xí)題；驗證集就像每個月的考試，來測試自己一段時間內(nèi)學(xué)習(xí)方法的效果。如果考試不好，他們需要及時總結(jié)和調(diào)整自己的學(xué)習(xí)方法；那么高考期末就是考試套，都是全新的試題，真正能改進自己的學(xué)習(xí)方法考驗?zāi)氵@三年的學(xué)習(xí)成績。

另外，通過分析模型在不同數(shù)據(jù)集中的結(jié)果，可以快速分析存在的問題。例如，判斷模型是否過擬合。以訓(xùn)練分類任務(wù)為例，優(yōu)化目標是準確度。如果訓(xùn)練集上的精度很差，而驗證集上的效果也很差，則說明當(dāng)前模型是欠擬合的，需要通過增加訓(xùn)練次數(shù)和擴展模型的復(fù)雜度來改進模型。如果訓(xùn)練集的精度很高，但是驗證集的效果很差，在這種情況下，模型會出現(xiàn)過擬合，泛化性能較差，需要進一步調(diào)整模型的超參數(shù)。如果訓(xùn)練集和驗證集的精度很高，但對測試集的影響很差，則需要檢查測試集的數(shù)據(jù)分布是否與訓(xùn)練集有太大的差異，或者需要進一步增加數(shù)據(jù)量來提高模型對測試集的影響。

機器學(xué)習(xí)中訓(xùn)練集、驗證集(開發(fā)集)、測試集如何劃分？需要注意什么？

首先，我們需要了解訓(xùn)練集、驗證集和測試集的含義。簡單地說：

1。訓(xùn)練集用來訓(xùn)練模型并調(diào)整相應(yīng)的參數(shù)（如權(quán)重）。驗證集用于調(diào)整模型的超參數(shù)（如體系結(jié)構(gòu)、訓(xùn)練前已確定的參數(shù)，如有多少高度）層，這就是為什么也稱為開發(fā)集的原因）

3。測試集是用來獲得最終模型的性能，比如精度

有了這個常識，你就知道怎么劃分了。例如，如果你有一個數(shù)據(jù)集，你需要先做它

，如下圖所示，只有有了這個基礎(chǔ)，測試和驗證集才有意義。

至于如何劃分，我們需要看具體案例，參考斯坦福大學(xué)的深度學(xué)習(xí)課程https://cs230-stanford.github.io/train-dev-test-split.html沒有具體的標準，但是盡量使驗證集和測試集不要太少，例如1000000個圖片集，驗證和測試集不應(yīng)小于10000，即1%。如果數(shù)據(jù)量不夠大，通常是80-10-10的比例：

注意：隨機不是完全隨機的，它需要保證可重復(fù)性

好的，關(guān)這個話題就到此為止。如果遇到類似問題，如何找到正確答案？首先，你需要找到第一手資料。與其在百度上搜索，不如直接找到基本信息。在這種情況下，斯坦福學(xué)校的課程作為輸入，所以你不會誤入歧途。

歡迎關(guān)注“行知漫步”，共同學(xué)習(xí)和探討新技術(shù)的應(yīng)用