兩臺(tái)服務(wù)器的數(shù)據(jù)同步如何實(shí)現(xiàn)？1.直接安裝CentOS7.0yuminstallssh按裝SSH協(xié)議yuminstallrsync（rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可通過(guò)LAN/WAN迅速網(wǎng)絡(luò)同步多

兩臺(tái)服務(wù)器的數(shù)據(jù)同步如何實(shí)現(xiàn)？

1.直接安裝CentOS7.0yuminstallssh按裝SSH協(xié)議yuminstallrsync（rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可通過(guò)LAN/WAN迅速網(wǎng)絡(luò)同步多臺(tái)主機(jī)間的文件）servicesshdrestart啟動(dòng)服務(wù)任務(wù)2.配置Master無(wú)密碼登錄所有Salve，在Master機(jī)器上生成密碼對(duì)3.查找/home/hadoop/下是否是有##34文件夾，且##34文件下是否是有兩個(gè)剛加工生產(chǎn)的無(wú)密碼密鑰對(duì)。

4.接著在Master節(jié)點(diǎn)上做追加配置，把id_追加到合法授權(quán)的key里面去。

5.設(shè)置SSH配置用root用戶登錄服務(wù)器修改SSH配置文件#34/etc/ssh/sshd_config#34的c選項(xiàng)內(nèi)容。

設(shè)置完之后你記得重啟后SSH服務(wù)，才能使先前設(shè)置快速有效。

6.再次root登陸賬號(hào)，使用hadoop普通用戶驗(yàn)證完成同步另一臺(tái)服務(wù)器的數(shù)據(jù)

沒(méi)有大數(shù)據(jù)，我們?cè)撊绾螌C(jī)器學(xué)習(xí)的想法制成原型？

從研究思想的提出到實(shí)驗(yàn)的具體詳細(xì)實(shí)現(xiàn)是工程中的基礎(chǔ)環(huán)節(jié)。但是這一過(guò)程老愛(ài)被一些肯定的小瑕疵所影響。在學(xué)術(shù)界，研究生必須不容易的科研——大量的編寫代碼，親自撰寫說(shuō)明這些論文創(chuàng)作。新的工程項(xiàng)目經(jīng)常會(huì)是需要全新的代碼庫(kù)，不過(guò)大多很難把過(guò)去應(yīng)用過(guò)的代碼直接延伸到這些新項(xiàng)目當(dāng)中去。

基于此種情況，哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)博士生及OpenAI研究者DustinTran從其個(gè)人角度總體概述了從研究思想到實(shí)驗(yàn)過(guò)程的步驟。其中最關(guān)鍵的步驟是提出來(lái)新觀點(diǎn)，這來(lái)講是需要大量時(shí)間；而且最起碼對(duì)作者來(lái)說(shuō)，實(shí)驗(yàn)環(huán)節(jié)不但是怎么學(xué)習(xí)，更是幫忙解決無(wú)法預(yù)測(cè)的問(wèn)題的關(guān)鍵所在。另外，作者還明確只能證明：這個(gè)工作流程僅范圍問(wèn)題于實(shí)驗(yàn)方面的研究，理論研究則需要遵循什么另外的流程，但他這兩者也有一些達(dá)成點(diǎn)。

找對(duì)問(wèn)題

在真正開(kāi)始一個(gè)項(xiàng)目之前，如何能讓你的想法「落地之前」成為更開(kāi)始的議題是相當(dāng)最重要的的。偶爾會(huì)它很簡(jiǎn)單的——得象導(dǎo)師會(huì)給你分配任務(wù)；或則一次性處理一個(gè)特定的事件的數(shù)據(jù)集或不好算問(wèn)題；又又或者和你的合作者進(jìn)行談話來(lái)考慮工作內(nèi)容。

最為比較普遍的是，研究其實(shí)是一系列想法（idea）不斷迭代所有一種的結(jié)果，這些想法大多是通過(guò)日常洗護(hù)談話、近期工作、閱讀專業(yè)內(nèi)和專業(yè)外領(lǐng)域文獻(xiàn)和認(rèn)真理解超經(jīng)典論文所才能產(chǎn)生的。

我才發(fā)現(xiàn)了一種方法更加有用嗎——即持續(xù)一個(gè)單一的主文檔（masterdocument），這大多需要很多工作。

是需要，它有一個(gè)項(xiàng)目列表來(lái)排列順序所有的研究想法、問(wèn)題和題目。有時(shí)它們也可以是比較高層面的問(wèn)題，那像「用于強(qiáng)化學(xué)習(xí)的貝葉斯/生成方法」、「能解決機(jī)器學(xué)習(xí)領(lǐng)域的公平性問(wèn)題」；也可以是一些很詳細(xì)的議題，諸如「處理EP中記憶奇怪度的推理網(wǎng)絡(luò)」、「規(guī)模偏移量的與點(diǎn)對(duì)稱的Dirichlet先驗(yàn)的分析」。我你經(jīng)常很努力把項(xiàng)目列表寫得非常簡(jiǎn)練：子內(nèi)容一些鏈接并且發(fā)動(dòng)了攻擊。

接著，參照接下來(lái)要做的工作來(lái)對(duì)idea清單接受分類。這正常情況會(huì)給我的妖軍研究指明方向。我也是可以參照其方向如何確定和我的研究觀點(diǎn)完全不同、其必要性和有效性時(shí)刻改這些項(xiàng)目的優(yōu)先級(jí)。更重要的是的是，這個(gè)列表清單不僅是關(guān)于后續(xù)觀點(diǎn)的，更是關(guān)于接下來(lái)的我更很樂(lè)意做研究什么內(nèi)容的。從長(zhǎng)遠(yuǎn)的打算角度來(lái)考慮，這是對(duì)找不到最重要問(wèn)題和提議簡(jiǎn)單新穎的解決方法是有有用貢獻(xiàn)的。我偶爾會(huì)ftp訪問(wèn)這個(gè)清單，然后再有安排事務(wù)，再添加新想法，徹底刪除不必要的議題。結(jié)果當(dāng)我可以詳細(xì)一個(gè)idea的時(shí)候，它就這個(gè)可以擁有一篇比較開(kāi)始的論文了。一般來(lái)說(shuō)，我發(fā)現(xiàn)自己在同一個(gè)位置（同一個(gè)格式）迭代idea的過(guò)程也可以使正式論文寫作中的銜接和實(shí)驗(yàn)過(guò)程都變得極其流暢。

管理方面一個(gè)項(xiàng)目

我們?yōu)榻诘腶rXiv預(yù)印本搭建中的repository

最近喜歡在GitHub存儲(chǔ)庫(kù)中程序維護(hù)研究項(xiàng)目。反正一個(gè)「單元」的研究是多少，我都會(huì)將其定義成另外一種低些自我肯定真包含的東西；例如，它很有可能會(huì)連接到一篇某個(gè)特定的論文、一個(gè)已被應(yīng)用形式的數(shù)據(jù)分析或目前一個(gè)某個(gè)特定主題。

GitHub存儲(chǔ)庫(kù)不但可主要用于跟蹤代碼，并且還可主要用于監(jiān)視好象的研究進(jìn)程、論文寫作進(jìn)度或接觸其它合作項(xiàng)目。但項(xiàng)目的組織一向以來(lái)是一個(gè)痛點(diǎn)。我比較喜歡以下的結(jié)構(gòu)，該結(jié)構(gòu)無(wú)論是Dave Blei，可北方醫(yī)話：~blei/seminar/2016_discrete_data/notes/week_01.pdf

為自己和合作者持續(xù)了一個(gè)需要去做的事的列表，這讓遭遇的問(wèn)題和前進(jìn)的方向變得異常內(nèi)容明確。

doc/包含所有的記錄事項(xiàng)，每個(gè)子目錄都乾坤二卦一個(gè)會(huì)議紀(jì)要或者文獻(xiàn)重新提交，main.tex是通常文檔，每一章節(jié)是相同文件，如introduction.tex，讓每個(gè)章節(jié)沒(méi)分開(kāi)也可以讓多人同樣處理完全不同的章節(jié)，盡量避免合并。有些人比較喜歡在通常實(shí)驗(yàn)?zāi)芡瓿珊髢纱螌懸欢瓮暾撐?，但我更就是喜歡把論文才是目前想法的記錄，因此讓它和想法本身完全不一樣，隨著實(shí)驗(yàn)的進(jìn)展斷的往前推進(jìn)。

etc/是其他與前面的目錄沒(méi)有關(guān)系的內(nèi)容。我正常情況用它來(lái)存儲(chǔ)項(xiàng)目中商討留下來(lái)的白板內(nèi)容的圖片?？偸?，我在日常工作中我得到了一些靈感，我會(huì)將它們都留下記錄在Markdown文檔中，它也是三個(gè)主要是用于處置對(duì)于工作的各種評(píng)論的目錄，如合作者這對(duì)論文內(nèi)容的反饋。

src/是c語(yǔ)言程序所有代碼的位置?？蛇\(yùn)行的腳本全是真接寫在src/上的，類和功能多程序?qū)懺诹薱odebase/上。下面我將詳細(xì)說(shuō)明再看看（也有個(gè)是腳本輸出目錄）。

編寫代碼

我現(xiàn)在寫所有代碼的工具大都Edward，我發(fā)現(xiàn)到它是急速實(shí)驗(yàn)現(xiàn)代概率模型和算法的最佳的方法框架。

Edward鏈接：

在概念層面上，Edward的吸引力只是相對(duì)而言語(yǔ)言不能違背數(shù)學(xué)：模型的生成過(guò)程被能量轉(zhuǎn)化為5行Edward代碼；隨即只希望寫出了什么的算法被轉(zhuǎn)化為下一行……這種純凈的轉(zhuǎn)換過(guò)程省卻了在未來(lái)試圖將代碼拓展為自然研究問(wèn)題時(shí)的麻煩：例如，在之后建議使用了有所不同的方法，的或按照了梯度估值，或數(shù)次了相同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，又或者在大數(shù)據(jù)幾乎全部應(yīng)用方法了其他方法等等。

在實(shí)踐層面上，我時(shí)總從Edward的現(xiàn)有模型示例（在edward/examples或edward/notebooks）中獲益，我將參數(shù)設(shè)置算法源代碼（在edward/inferences）充當(dāng)一個(gè)新文件ctrl v粘貼到我的項(xiàng)目中的codebase/目錄中，然后再接受調(diào)整。這樣從零做起就變地的很簡(jiǎn)單啊了，我們也這個(gè)可以盡量的避免很多高等級(jí)細(xì)節(jié)上的缺失。

在編寫代碼時(shí)，我始終遵循什么PEP8（我尤其就是喜歡tcf8軟件包：），隨后一段時(shí)間從腳本互相訪問(wèn)的類和函數(shù)定義中分離出來(lái)每個(gè)腳本；前者被放到codebase/中以備導(dǎo)入到。從第一步開(kāi)始能維護(hù)代碼質(zhì)量總是最好是的選擇，這個(gè)過(guò)程的很重要的是，是因?yàn)轫?xiàng)目會(huì)伴隨著時(shí)間斷的迅速膨脹，而其他人也會(huì)慢慢的加入到。

Jupyter記事本。許多人在可以使用Jupyter記事本（鏈接：）使用較多可可交互代碼開(kāi)發(fā)的方法，它又是附著可視化和LaTeX的簡(jiǎn)單啊方法。對(duì)于我來(lái)說(shuō)，我卻沒(méi)將它整合起來(lái)到自己的工作流中?？墒俏蚁矚g將自己所有的代碼中寫入Python腳本中，后再運(yùn)行腳本。但Jupyter等工具的交互性真心稱贊。

實(shí)驗(yàn)管理

在好的工作站或云服務(wù)商做投資是必要的事。GPU那樣的特性大部分普便用下，而我們應(yīng)該是有權(quán)限右行正常運(yùn)行許多工作。

我在本地計(jì)算機(jī)能夠完成腳本編寫之后，我主要的工作流是：

1.運(yùn)行rsync網(wǎng)絡(luò)同步我本地計(jì)算機(jī)的GithubRepository（中有未授權(quán)許可文檔）到服務(wù)器的directory。

到服務(wù)器。

3.正在tmux并運(yùn)行腳本。眾事駁雜，tmux能讓你超然物外此進(jìn)程，從而不必須等待它的結(jié)束才與服務(wù)器再一次交互。

在腳本所需之后，我就開(kāi)始用多個(gè)超參數(shù)配置努力專研實(shí)驗(yàn)。這里有三個(gè)有幫助的工具tf.flags，它建議使用命令行嚴(yán)謹(jǐn)?shù)恼撟C可以提高一個(gè)Python腳本，竟像下面那樣的話為自己的腳本提升一些東西：

然后把，你可以運(yùn)行下面這樣的終端命令：

這讓再提交超參數(shù)可以修改的服務(wù)器任務(wù)變地很容易。

到最后，說(shuō)起管理實(shí)驗(yàn)時(shí)輸出的任務(wù)，回想起一下前文中src/目錄的結(jié)構(gòu)：

我們具體解釋了每個(gè)腳本和codebase/。其他三個(gè)目錄被用于組織實(shí)驗(yàn)輸出：

checkpoints/記錄在訓(xùn)練中存放的模型參數(shù)。當(dāng)算法每固定設(shè)置次數(shù)迭代時(shí)，使用來(lái)能保存參數(shù)。這能增強(qiáng)維護(hù)長(zhǎng)時(shí)間的實(shí)驗(yàn)——你很可能會(huì)取消后一些任務(wù)，后來(lái)我們還要重新恢復(fù)參數(shù)。每個(gè)實(shí)驗(yàn)的輸出都會(huì)存儲(chǔ)位置在checkpoints/中的一個(gè)子目錄下，如20170524_192314_batch_size_25_lr_1e-4/。第一個(gè)數(shù)字是日期（YYYYMMDD），第二個(gè)是時(shí)間（HMS），其余的是超參數(shù)。

log/存儲(chǔ)位置用于可視化學(xué)習(xí)的記錄。每次實(shí)驗(yàn)都有都屬于自己的和checkpoints/中不對(duì)應(yīng)的子目錄。可以使用Edward的一個(gè)好處在于，這對(duì)日志，你這個(gè)可以很簡(jiǎn)單地傳信一個(gè)參數(shù)(logdirlog/subdir)。被行蹤的默認(rèn)TensorFlow論文格式可以用TensorBoard可視化。

土爆/資料記錄特訓(xùn)都結(jié)束了后的探索性輸出；比如能生成的圖片或matplotlib圖，每個(gè)實(shí)驗(yàn)應(yīng)該有自己的和checkpoints/中不對(duì)應(yīng)的子目錄。

軟件容器。virtualenv是管理的管理Python完全安裝環(huán)境的必備軟件，是可以降低按裝Python的困難程度。要是你要更強(qiáng)橫無(wú)比的工具，Dockercontainers也可以柯西-黎曼方程你的需要。

Virtualenv鏈接：

Dockercontainers鏈接：

TensorBoard是可視化和探索模型訓(xùn)練的一種杰出的工具。只不過(guò)TensorBoard具有良好的道德的交互性，你就會(huì)發(fā)現(xiàn)它的很使用時(shí)，是因?yàn)檫@意味著不不需要配置大量matplotlib函數(shù)來(lái)知道一點(diǎn)訓(xùn)練。我們只需要在代碼的tensor上一并加入。

Edward設(shè)置成記錄信息了大量摘要，以便于可視化訓(xùn)練迭代中損失的函數(shù)值、漸變和參數(shù)的變化。TensorBoard還包括當(dāng)經(jīng)過(guò)時(shí)間的也很，也為充分修飾的TensorFlow代碼庫(kù)可以提供了很好的計(jì)算圖。是對(duì)不能只用TensorBoard參與確診的相當(dāng)棘手問(wèn)題，我們也可以在你out/目錄中輸出內(nèi)容并去檢查這些結(jié)果。

調(diào)試出錯(cuò)信息。我的調(diào)試工作流相當(dāng)更糟糕。這一點(diǎn)，我在代碼中附著打印語(yǔ)句并恢復(fù)如初過(guò)程來(lái)尋找風(fēng)錯(cuò)誤。這種方法更加各種?？墒沁€沒(méi)有數(shù)次過(guò)，但我聽(tīng)說(shuō)TensorFlow的debugger功能相當(dāng)強(qiáng)橫無(wú)比。

提升到研究解釋

不停考研究生你的模型與算法，通常，學(xué)習(xí)過(guò)程只會(huì)你對(duì)自己的研究和模型有更好的了解。這也可以讓你回到自己制圖板上，重新審視自己所處地點(diǎn)，跪求初步實(shí)力提升的方法。如果方法打向完成，我們可以從簡(jiǎn)單的配置漸漸地?cái)U(kuò)大企業(yè)規(guī)模，趁機(jī)解決高維度的問(wèn)題。

從更高層級(jí)上看，工作流在本質(zhì)上應(yīng)該是讓科學(xué)方法應(yīng)用到真實(shí)世界中。在實(shí)驗(yàn)過(guò)程中的每一道迭代里，遺棄比較多想法都是不必要的。但而，這一切的理論基礎(chǔ)要壯大。

在這個(gè)過(guò)程中，實(shí)驗(yàn)并也不是孤立起來(lái)的。合作、與其他領(lǐng)域的專家交流溝通、泛讀論文、設(shè)計(jì)和實(shí)現(xiàn)短期有效和長(zhǎng)期性角度判斷問(wèn)題、參加學(xué)術(shù)會(huì)議都能增強(qiáng)進(jìn)一步拓寬你看待事情問(wèn)題的思路并能好處解決了問(wèn)題。