GPU性能一般，怎么實(shí)現(xiàn)分布式模型訓(xùn)練？如果同一臺(tái)機(jī)器上有多個(gè)GPU使用多塔結(jié)構(gòu)（詳見tensorflow官方教程）如果總共只有一個(gè)GPU使用AWS云GPU服務(wù)器，最多可租用8個(gè)并行的Tesla V1

GPU性能一般，怎么實(shí)現(xiàn)分布式模型訓(xùn)練？

如果同一臺(tái)機(jī)器上有多個(gè)GPU

使用多塔結(jié)構(gòu)（詳見tensorflow官方教程）

如果總共只有一個(gè)GPU

使用AWS云GPU服務(wù)器，最多可租用8個(gè)并行的Tesla V100計(jì)算圖形卡

歡迎關(guān)注標(biāo)題|機(jī)器學(xué)習(xí)干巴巴的商品

補(bǔ)充：

所謂多塔結(jié)構(gòu)就是讓每個(gè)GPU承擔(dān)一個(gè)小批量的一小部分，并計(jì)算每個(gè)小批量中每個(gè)參數(shù)的導(dǎo)數(shù)值。最后，平均這些導(dǎo)數(shù)值可以完成一批訓(xùn)練