網(wǎng)友解答: 數(shù)學(xué)是機(jī)器學(xué)習(xí)的基礎(chǔ)。斯坦福大學(xué)教授 Stephen Boyd 聯(lián)合加州大學(xué)洛杉磯分校的 Lieven Vandenberghe 教授出版了一本基礎(chǔ)數(shù)學(xué)書籍，從向量到最小二乘

網(wǎng)友解答:

數(shù)學(xué)是機(jī)器學(xué)習(xí)的基礎(chǔ)。斯坦福大學(xué)教授 Stephen Boyd 聯(lián)合加州大學(xué)洛杉磯分校的 Lieven Vandenberghe 教授出版了一本基礎(chǔ)數(shù)學(xué)書籍，從向量到最小二乘法，分三部分進(jìn)行講解并配以輔助資料。此外，這本書也是斯坦福 EE103 課程、UCLA EE133A 課程的教材，由劍橋大學(xué)出版社出版（允許網(wǎng)絡(luò)公開）。

項(xiàng)目地址：https://web.stanford.edu/~boyd/vmls/

這一本書的資料還是比較齊全的，除了本身 473 頁(yè)的教材，還有另一本 178 頁(yè)的對(duì)應(yīng)代碼講解。當(dāng)然如果讀者只需要了解數(shù)學(xué)部分的話，代碼部分是不需要了解的。但是如果比較關(guān)注線性代數(shù)的應(yīng)用，可能就需要閱讀這些基礎(chǔ)代碼，并順便學(xué)一學(xué) Julia 語(yǔ)言了。最后，這一本書還提供了對(duì)應(yīng)的課程 PPT，讀者也可以把它們作為輔助資料。

書籍簡(jiǎn)介

這本書旨在介紹向量、矩陣和最小二乘方法等應(yīng)用線性代數(shù)的基礎(chǔ)內(nèi)容，它的目標(biāo)是為只有很少或根本沒(méi)有線性代數(shù)基礎(chǔ)的初學(xué)者提供入門方法，包括線性代數(shù)的基本思想以及在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)等領(lǐng)域的應(yīng)用方法。

不過(guò)讀者還是需要熟悉一般的數(shù)學(xué)符號(hào)，并且在一些地方也會(huì)用到微積分，但它們并不起關(guān)鍵作用，因此基本上以前學(xué)過(guò)高數(shù)就差不多了。這本書包含了很多傳統(tǒng)概率論與統(tǒng)計(jì)學(xué)所討論的話題，例如使用數(shù)學(xué)模型擬合數(shù)據(jù)等，但讀者不一定需要這一方面的背景知識(shí)。

這本書比一般的應(yīng)用線性代數(shù)課本要有更少的數(shù)學(xué)成分，只會(huì)詳細(xì)介紹基本線性代數(shù)、線性獨(dú)立性等理論概念，以及 QR 因式分解這一計(jì)算工具。而這本書討論的大多數(shù)機(jī)器學(xué)習(xí)等方面的應(yīng)用只會(huì)使用一種方法，即最小二乘法及其擴(kuò)展。在某種意義下，該書更強(qiáng)調(diào)的是應(yīng)用，即依賴于少量基本數(shù)學(xué)概念和方法，而覆蓋大多數(shù)應(yīng)用。但是這本書所呈現(xiàn)的數(shù)學(xué)是完整的，因?yàn)樗鼤?huì)仔細(xì)證明每一個(gè)數(shù)學(xué)聲明。然而，與大多數(shù)介紹性的線性代數(shù)課本相比，這本書描述了許多實(shí)際應(yīng)用。包括一些通常被認(rèn)為是高級(jí)主題的應(yīng)用，如文檔分類、狀態(tài)估計(jì)和投資組合優(yōu)化等。

這本書并不需要任何計(jì)算機(jī)編程的知識(shí)，因此可以作為傳統(tǒng)的教學(xué)課程，我們只需要閱讀對(duì)應(yīng)章節(jié)并完成一些不涉及數(shù)值計(jì)算的練習(xí)題就行了。然而，這種方法會(huì)并不能使我們完全理解這本書，同時(shí)也得不到實(shí)際鍛煉，例如我們可以使用這本書的觀點(diǎn)與方法構(gòu)建一個(gè)基于數(shù)據(jù)的預(yù)測(cè)模型、增強(qiáng)圖像數(shù)據(jù)或優(yōu)化投資組合等。隨著計(jì)算力的不斷增長(zhǎng)，以及 NumPy 等高效矩陣運(yùn)算庫(kù)的發(fā)展，這本書中的描述的方法可以輕松地應(yīng)用到實(shí)踐中。因此讀者還可以使用 Python 等編程語(yǔ)言練習(xí)不同的項(xiàng)目而補(bǔ)充學(xué)習(xí)資源，只有使用真實(shí)數(shù)據(jù)搭建應(yīng)用才能真切地理解理論思想。本書提供了一些需要數(shù)值計(jì)算的練習(xí)題，且數(shù)據(jù)文件與編程語(yǔ)言的資源都可在線獲得。

這本書主要分為三部分。第一部分介紹了向量及各種向量運(yùn)算和函數(shù)，例如加法、向量?jī)?nèi)積、距離和角度等。本書還展示了如何使用向量表示文檔中的詞數(shù)、時(shí)間序列、目標(biāo)屬性、產(chǎn)品規(guī)格、音頻數(shù)據(jù)和圖像等。第二部分如同前一部分重點(diǎn)關(guān)注矩陣的概念與應(yīng)用，包括矩陣的求逆和解線性方程等。第三部分介紹了最小二乘法，它不僅展示了如何簡(jiǎn)單而自然地近似求解一個(gè)超定方程組，同時(shí)還有一些可應(yīng)用到很多方法的最小二乘擴(kuò)展知識(shí)。

該書還可用于自學(xué)，并輔以在線提供的資料，例如下面這份 470 頁(yè)的 PPT。

地址：https://web.stanford.edu/~boyd/vmls/vmls-slides.pdf

按照設(shè)計(jì)，本書的進(jìn)度會(huì)逐漸加快，也就是說(shuō)第一部分和第二部分有許多細(xì)節(jié)和簡(jiǎn)單的例子，第三部分有更多高級(jí)的例子和應(yīng)用。對(duì)于只有很少線性代數(shù)基礎(chǔ)或根本沒(méi)有的讀者而言，課程可以側(cè)重于第一部分和第二部分，并且僅簡(jiǎn)單了解一些更高級(jí)的應(yīng)用。而熟悉背景知識(shí)的讀者可以快速過(guò)一遍前面兩部分，并將重點(diǎn)放在最后的應(yīng)用部分上。

除了線性代數(shù)等數(shù)學(xué)基礎(chǔ)，這本書還介紹了很多機(jī)器學(xué)習(xí)應(yīng)用，包括比較流行的 K 均值聚類等。而這些機(jī)器學(xué)習(xí)算法主要都介紹了數(shù)學(xué)表現(xiàn)形式和偽算法，并不涉及具體的代碼，讀者可另外查看這本書的配套代碼實(shí)現(xiàn)。這本書提供的了基于 Julia 語(yǔ)言的配套代碼！

下面我們將簡(jiǎn)要介紹聚類這一方面課本內(nèi)容與對(duì)應(yīng)的 Julia 代碼。聚類也就是說(shuō)將同類的無(wú)監(jiān)督數(shù)據(jù)聚在一起，它的目標(biāo)函數(shù)可以簡(jiǎn)單地定義為各樣本到對(duì)應(yīng)聚類中心的距離和。如果這個(gè)距離和非常大，那么聚類的效果就不好，我們會(huì)希望通過(guò)最優(yōu)化算法最小化這個(gè)距離。在這本書中，距離可以定義為：

而 K 均值聚類會(huì)更形象地利用圖像展示聚類效果，下圖展示了 K 均值聚類迭代一次的更新過(guò)程：

而這一更新過(guò)程會(huì)有對(duì)應(yīng)的為代碼：

除了這些基礎(chǔ)內(nèi)容外，這本書還會(huì)展示很多可視化內(nèi)容以幫助理解理論知識(shí)，例如展示了最終聚類結(jié)果的圖 4.4 和展示了損失函數(shù)下降趨勢(shì)的圖 4.5：

當(dāng)然，K 均值聚類還提供了對(duì)應(yīng) Julia 實(shí)現(xiàn)，如下展示了實(shí)現(xiàn)該算法的代碼，讀者在學(xué)習(xí)這本書的同時(shí)還能順便學(xué)學(xué) Julia 語(yǔ)言。

function kmeans(X, k; maxiters = 100, tol = 1e-5) if ndims(X) == 2 X = [X[:,i] for i in 1:size(X,2)] end; N = length(X) n = length(X[1]) distances = zeros(N) reps = [zeros(n) for j=1:k] assignment = [ rand(1:k) for i in 1:N ] Jprevious = Inf for iter = 1:maxiters for j = 1:k group = [i for i=1:N if assignment[i] == j] reps[j] = sum(X[group]) / length(group); end; for i = 1:N (distances[i], assignment[i]) = findmin([norm(X[i] - reps[j]) for j = 1:k]) end; J = norm(distances)^2 / N println("Iteration ", iter, ": Jclust = ", J, ".") if iter 1 && abs(J - Jprevious) < tol * J return assignment, reps end Jprevious = J endend

最后，這本書的對(duì)應(yīng)代碼和數(shù)據(jù)都可以在 GitHub 中找到：https://github.com/VMLS-book。

網(wǎng)友解答:

強(qiáng)烈推薦：

3blue1brown《線性代數(shù)的本質(zhì)》系列

B站上就有

這個(gè)系列用幾何直觀幫助我們理解線性代數(shù)的幾何本質(zhì)，用于入門是最好的