兩臺服務(wù)器的數(shù)據(jù)同步如何實現(xiàn)？1.直接安裝CentOS7.0yuminstallssh按裝SSH協(xié)議yuminstallrsync（rsync是一個遠程數(shù)據(jù)同步工具，可通過LAN/WAN迅速網(wǎng)絡(luò)同步多

兩臺服務(wù)器的數(shù)據(jù)同步如何實現(xiàn)？

1.直接安裝CentOS7.0yuminstallssh按裝SSH協(xié)議yuminstallrsync（rsync是一個遠程數(shù)據(jù)同步工具，可通過LAN/WAN迅速網(wǎng)絡(luò)同步多臺主機間的文件）servicesshdrestart啟動服務(wù)任務(wù)2.配置Master無密碼登錄所有Salve，在Master機器上生成密碼對3.查找/home/hadoop/下是否是有##34文件夾，且##34文件下是否是有兩個剛加工生產(chǎn)的無密碼密鑰對。

4.接著在Master節(jié)點上做追加配置，把id_追加到合法授權(quán)的key里面去。

5.設(shè)置SSH配置用root用戶登錄服務(wù)器修改SSH配置文件#34/etc/ssh/sshd_config#34的c選項內(nèi)容。

設(shè)置完之后你記得重啟后SSH服務(wù)，才能使先前設(shè)置快速有效。

6.再次root登陸賬號，使用hadoop普通用戶驗證完成同步另一臺服務(wù)器的數(shù)據(jù)

沒有大數(shù)據(jù)，我們該如何將機器學習的想法制成原型？

從研究思想的提出到實驗的具體詳細實現(xiàn)是工程中的基礎(chǔ)環(huán)節(jié)。但是這一過程老愛被一些肯定的小瑕疵所影響。在學術(shù)界，研究生必須不容易的科研——大量的編寫代碼，親自撰寫說明這些論文創(chuàng)作。新的工程項目經(jīng)常會是需要全新的代碼庫，不過大多很難把過去應(yīng)用過的代碼直接延伸到這些新項目當中去。

基于此種情況，哥倫比亞大學計算機科學博士生及OpenAI研究者DustinTran從其個人角度總體概述了從研究思想到實驗過程的步驟。其中最關(guān)鍵的步驟是提出來新觀點，這來講是需要大量時間；而且最起碼對作者來說，實驗環(huán)節(jié)不但是怎么學習，更是幫忙解決無法預測的問題的關(guān)鍵所在。另外，作者還明確只能證明：這個工作流程僅范圍問題于實驗方面的研究，理論研究則需要遵循什么另外的流程，但他這兩者也有一些達成點。

找對問題

在真正開始一個項目之前，如何能讓你的想法「落地之前」成為更開始的議題是相當最重要的的。偶爾會它很簡單的——得象導師會給你分配任務(wù)；或則一次性處理一個特定的事件的數(shù)據(jù)集或不好算問題；又又或者和你的合作者進行談話來考慮工作內(nèi)容。

最為比較普遍的是，研究其實是一系列想法（idea）不斷迭代所有一種的結(jié)果，這些想法大多是通過日常洗護談話、近期工作、閱讀專業(yè)內(nèi)和專業(yè)外領(lǐng)域文獻和認真理解超經(jīng)典論文所才能產(chǎn)生的。

我才發(fā)現(xiàn)了一種方法更加有用嗎——即持續(xù)一個單一的主文檔（masterdocument），這大多需要很多工作。

是需要，它有一個項目列表來排列順序所有的研究想法、問題和題目。有時它們也可以是比較高層面的問題，那像「用于強化學習的貝葉斯/生成方法」、「能解決機器學習領(lǐng)域的公平性問題」；也可以是一些很詳細的議題，諸如「處理EP中記憶奇怪度的推理網(wǎng)絡(luò)」、「規(guī)模偏移量的與點對稱的Dirichlet先驗的分析」。我你經(jīng)常很努力把項目列表寫得非常簡練：子內(nèi)容一些鏈接并且發(fā)動了攻擊。

接著，參照接下來要做的工作來對idea清單接受分類。這正常情況會給我的妖軍研究指明方向。我也是可以參照其方向如何確定和我的研究觀點完全不同、其必要性和有效性時刻改這些項目的優(yōu)先級。更重要的是的是，這個列表清單不僅是關(guān)于后續(xù)觀點的，更是關(guān)于接下來的我更很樂意做研究什么內(nèi)容的。從長遠的打算角度來考慮，這是對找不到最重要問題和提議簡單新穎的解決方法是有有用貢獻的。我偶爾會ftp訪問這個清單，然后再有安排事務(wù)，再添加新想法，徹底刪除不必要的議題。結(jié)果當我可以詳細一個idea的時候，它就這個可以擁有一篇比較開始的論文了。一般來說，我發(fā)現(xiàn)自己在同一個位置（同一個格式）迭代idea的過程也可以使正式論文寫作中的銜接和實驗過程都變得極其流暢。

管理方面一個項目

我們?yōu)榻诘腶rXiv預印本搭建中的repository

最近喜歡在GitHub存儲庫中程序維護研究項目。反正一個「單元」的研究是多少，我都會將其定義成另外一種低些自我肯定真包含的東西；例如，它很有可能會連接到一篇某個特定的論文、一個已被應(yīng)用形式的數(shù)據(jù)分析或目前一個某個特定主題。

GitHub存儲庫不但可主要用于跟蹤代碼，并且還可主要用于監(jiān)視好象的研究進程、論文寫作進度或接觸其它合作項目。但項目的組織一向以來是一個痛點。我比較喜歡以下的結(jié)構(gòu)，該結(jié)構(gòu)無論是Dave Blei，可北方醫(yī)話：~blei/seminar/2016_discrete_data/notes/week_01.pdf

為自己和合作者持續(xù)了一個需要去做的事的列表，這讓遭遇的問題和前進的方向變得異常內(nèi)容明確。

doc/包含所有的記錄事項，每個子目錄都乾坤二卦一個會議紀要或者文獻重新提交，main.tex是通常文檔，每一章節(jié)是相同文件，如introduction.tex，讓每個章節(jié)沒分開也可以讓多人同樣處理完全不同的章節(jié)，盡量避免合并。有些人比較喜歡在通常實驗能完成后兩次寫一段完整論文，但我更就是喜歡把論文才是目前想法的記錄，因此讓它和想法本身完全不一樣，隨著實驗的進展斷的往前推進。

etc/是其他與前面的目錄沒有關(guān)系的內(nèi)容。我正常情況用它來存儲項目中商討留下來的白板內(nèi)容的圖片?？偸牵以谌粘９ぷ髦形业玫搅艘恍╈`感，我會將它們都留下記錄在Markdown文檔中，它也是三個主要是用于處置對于工作的各種評論的目錄，如合作者這對論文內(nèi)容的反饋。

src/是c語言程序所有代碼的位置?？蛇\行的腳本全是真接寫在src/上的，類和功能多程序?qū)懺诹薱odebase/上。下面我將詳細說明再看看（也有個是腳本輸出目錄）。

編寫代碼

我現(xiàn)在寫所有代碼的工具大都Edward，我發(fā)現(xiàn)到它是急速實驗現(xiàn)代概率模型和算法的最佳的方法框架。

Edward鏈接：

在概念層面上，Edward的吸引力只是相對而言語言不能違背數(shù)學：模型的生成過程被能量轉(zhuǎn)化為5行Edward代碼；隨即只希望寫出了什么的算法被轉(zhuǎn)化為下一行……這種純凈的轉(zhuǎn)換過程省卻了在未來試圖將代碼拓展為自然研究問題時的麻煩：例如，在之后建議使用了有所不同的方法，的或按照了梯度估值，或數(shù)次了相同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，又或者在大數(shù)據(jù)幾乎全部應(yīng)用方法了其他方法等等。

在實踐層面上，我時總從Edward的現(xiàn)有模型示例（在edward/examples或edward/notebooks）中獲益，我將參數(shù)設(shè)置算法源代碼（在edward/inferences）充當一個新文件ctrl v粘貼到我的項目中的codebase/目錄中，然后再接受調(diào)整。這樣從零做起就變地的很簡單啊了，我們也這個可以盡量的避免很多高等級細節(jié)上的缺失。

在編寫代碼時，我始終遵循什么PEP8（我尤其就是喜歡tcf8軟件包：），隨后一段時間從腳本互相訪問的類和函數(shù)定義中分離出來每個腳本；前者被放到codebase/中以備導入到。從第一步開始能維護代碼質(zhì)量總是最好是的選擇，這個過程的很重要的是，是因為項目會伴隨著時間斷的迅速膨脹，而其他人也會慢慢的加入到。

Jupyter記事本。許多人在可以使用Jupyter記事本（鏈接：）使用較多可可交互代碼開發(fā)的方法，它又是附著可視化和LaTeX的簡單啊方法。對于我來說，我卻沒將它整合起來到自己的工作流中?？墒俏蚁矚g將自己所有的代碼中寫入Python腳本中，后再運行腳本。但Jupyter等工具的交互性真心稱贊。

實驗管理

在好的工作站或云服務(wù)商做投資是必要的事。GPU那樣的特性大部分普便用下，而我們應(yīng)該是有權(quán)限右行正常運行許多工作。

我在本地計算機能夠完成腳本編寫之后，我主要的工作流是：

1.運行rsync網(wǎng)絡(luò)同步我本地計算機的GithubRepository（中有未授權(quán)許可文檔）到服務(wù)器的directory。

到服務(wù)器。

3.正在tmux并運行腳本。眾事駁雜，tmux能讓你超然物外此進程，從而不必須等待它的結(jié)束才與服務(wù)器再一次交互。

在腳本所需之后，我就開始用多個超參數(shù)配置努力專研實驗。這里有三個有幫助的工具tf.flags，它建議使用命令行嚴謹?shù)恼撟C可以提高一個Python腳本，竟像下面那樣的話為自己的腳本提升一些東西：

然后把，你可以運行下面這樣的終端命令：

這讓再提交超參數(shù)可以修改的服務(wù)器任務(wù)變地很容易。

到最后，說起管理實驗時輸出的任務(wù)，回想起一下前文中src/目錄的結(jié)構(gòu)：

我們具體解釋了每個腳本和codebase/。其他三個目錄被用于組織實驗輸出：

checkpoints/記錄在訓練中存放的模型參數(shù)。當算法每固定設(shè)置次數(shù)迭代時，使用來能保存參數(shù)。這能增強維護長時間的實驗——你很可能會取消后一些任務(wù)，后來我們還要重新恢復參數(shù)。每個實驗的輸出都會存儲位置在checkpoints/中的一個子目錄下，如20170524_192314_batch_size_25_lr_1e-4/。第一個數(shù)字是日期（YYYYMMDD），第二個是時間（HMS），其余的是超參數(shù)。

log/存儲位置用于可視化學習的記錄。每次實驗都有都屬于自己的和checkpoints/中不對應(yīng)的子目錄?？梢允褂肊dward的一個好處在于，這對日志，你這個可以很簡單地傳信一個參數(shù)(logdirlog/subdir)。被行蹤的默認TensorFlow論文格式可以用TensorBoard可視化。

土爆/資料記錄特訓都結(jié)束了后的探索性輸出；比如能生成的圖片或matplotlib圖，每個實驗應(yīng)該有自己的和checkpoints/中不對應(yīng)的子目錄。

軟件容器。virtualenv是管理的管理Python完全安裝環(huán)境的必備軟件，是可以降低按裝Python的困難程度。要是你要更強橫無比的工具，Dockercontainers也可以柯西-黎曼方程你的需要。

Virtualenv鏈接：

Dockercontainers鏈接：

TensorBoard是可視化和探索模型訓練的一種杰出的工具。只不過TensorBoard具有良好的道德的交互性，你就會發(fā)現(xiàn)它的很使用時，是因為這意味著不不需要配置大量matplotlib函數(shù)來知道一點訓練。我們只需要在代碼的tensor上一并加入。

Edward設(shè)置成記錄信息了大量摘要，以便于可視化訓練迭代中損失的函數(shù)值、漸變和參數(shù)的變化。TensorBoard還包括當經(jīng)過時間的也很，也為充分修飾的TensorFlow代碼庫可以提供了很好的計算圖。是對不能只用TensorBoard參與確診的相當棘手問題，我們也可以在你out/目錄中輸出內(nèi)容并去檢查這些結(jié)果。

調(diào)試出錯信息。我的調(diào)試工作流相當更糟糕。這一點，我在代碼中附著打印語句并恢復如初過程來尋找風錯誤。這種方法更加各種?？墒沁€沒有數(shù)次過，但我聽說TensorFlow的debugger功能相當強橫無比。

提升到研究解釋

不停考研究生你的模型與算法，通常，學習過程只會你對自己的研究和模型有更好的了解。這也可以讓你回到自己制圖板上，重新審視自己所處地點，跪求初步實力提升的方法。如果方法打向完成，我們可以從簡單的配置漸漸地擴大企業(yè)規(guī)模，趁機解決高維度的問題。

從更高層級上看，工作流在本質(zhì)上應(yīng)該是讓科學方法應(yīng)用到真實世界中。在實驗過程中的每一道迭代里，遺棄比較多想法都是不必要的。但而，這一切的理論基礎(chǔ)要壯大。

在這個過程中，實驗并也不是孤立起來的。合作、與其他領(lǐng)域的專家交流溝通、泛讀論文、設(shè)計和實現(xiàn)短期有效和長期性角度判斷問題、參加學術(shù)會議都能增強進一步拓寬你看待事情問題的思路并能好處解決了問題。