比特幣為什么要用這么多顯卡？從比特幣的本質(zhì)出發(fā)，比特幣的本質(zhì)其實(shí)是一堆復(fù)雜算法生成的特殊解。一個(gè)特殊的解決方案是一個(gè)無(wú)限（事實(shí)上，比特幣是有限的）解決方案，可以從方程中獲得。每一個(gè)特解都能解方程，且是

比特幣為什么要用這么多顯卡？

從比特幣的本質(zhì)出發(fā)，比特幣的本質(zhì)其實(shí)是一堆復(fù)雜算法生成的特殊解。一個(gè)特殊的解決方案是一個(gè)無(wú)限（事實(shí)上，比特幣是有限的）解決方案，可以從方程中獲得。每一個(gè)特解都能解方程，且是唯一的。

為什么要使用圖形卡來(lái)挖掘？而不是CPU？

與CPU的復(fù)雜計(jì)算相比，圖形卡使用的GPU是通用計(jì)算。所以它可以堆疊成百上千個(gè)流處理器。每個(gè)流處理器就像一個(gè)小CPU。雖然它運(yùn)行復(fù)雜程序的能力與CPU的能力相差甚遠(yuǎn)，但它不能支持多個(gè)處理器，因此其實(shí)際性能，特別是單精度浮點(diǎn)性能要遠(yuǎn)遠(yuǎn)強(qiáng)于CPU。比特幣中的行為可視為使用顯卡進(jìn)行連續(xù)的通用計(jì)算，計(jì)算復(fù)雜度相對(duì)較低，且具有相當(dāng)?shù)闹貜?fù)性。圖形卡使用的流處理器正好適合這種算法。就像不斷地解方程。圖形卡為2000名中學(xué)生，CPU為8名數(shù)學(xué)博士。雖然數(shù)學(xué)博士的數(shù)學(xué)知識(shí)遠(yuǎn)遠(yuǎn)超過(guò)中學(xué)生，但解虛擬貨幣等中型方程的速度肯定不如2000名中學(xué)生快。因此，圖形卡越多，操作就越多。

40?GPU使用率不正常？

如果視頻內(nèi)存的利用率不高，可以增加批處理大小。這也與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)。在一些網(wǎng)絡(luò)中，例如移動(dòng)網(wǎng)，并行性本身不如VGg友好，因此沒(méi)有解決方案。不同的深度學(xué)習(xí)框架對(duì)GPU優(yōu)化有不同的影響。據(jù)我所知，tensorpack和mxnet對(duì)于GPU優(yōu)化是很好的。Pytorch更糟一點(diǎn)。如果數(shù)據(jù)供應(yīng)緩慢，GPU將等待。加速數(shù)據(jù)供給的常用方法：并行讀取，固態(tài)硬盤(pán)，避免GPU和CPU頻繁拷貝數(shù)據(jù)

怎樣用PyTorch實(shí)現(xiàn)多GPU分布式訓(xùn)練？

在許多情況下，性能不是瓶頸。大約80%的應(yīng)用程序不需要高性能。