大數(shù)據(jù)主要涉及的內(nèi)容有哪些？可以從事哪些崗位？我記得我大學(xué)畢業(yè)后的第一份工作。我們公司 的業(yè)務(wù)是進(jìn)行BI產(chǎn)品的研究和開發(fā)。什么時(shí)候互聯(lián)網(wǎng)沒有今天這么火，沒有大數(shù)據(jù)和移動(dòng)互聯(lián)網(wǎng)的概念？記得有一次和同事去

大數(shù)據(jù)主要涉及的內(nèi)容有哪些？可以從事哪些崗位？

我記得我大學(xué)畢業(yè)后的第一份工作。我們公司 的業(yè)務(wù)是進(jìn)行BI產(chǎn)品的研究和開發(fā)。什么時(shí)候互聯(lián)網(wǎng)沒有今天這么火，沒有大數(shù)據(jù)和移動(dòng)互聯(lián)網(wǎng)的概念？記得有一次和同事去華師大后門買書。同事買了一個(gè)javascript，我買了一個(gè)ajax。當(dāng)時(shí)我們產(chǎn)品的客戶端是用D:文本、視頻和數(shù)據(jù)庫。了解大數(shù)據(jù)的概念，讓 讓我們看看大數(shù)據(jù)包含什么。

大數(shù)據(jù)的內(nèi)涵

從技術(shù)角度來說，大數(shù)據(jù)包括兩個(gè)分支:數(shù)據(jù)分析和數(shù)據(jù)挖掘。數(shù)據(jù)分析是對(duì)歷史數(shù)據(jù)的分析，為管理層提供輔助決策信息。數(shù)據(jù)挖掘是一個(gè)研究趨勢(shì)和未來的問題，主要用于預(yù)測(cè)。方面。從業(yè)務(wù)的時(shí)效性要求來說，可以分為實(shí)時(shí)在線分析系統(tǒng)和離線分析系統(tǒng)。比如:網(wǎng)站的實(shí)時(shí)用戶區(qū)域分布就是一款實(shí)時(shí)分析應(yīng)用；2019年全國各省GDP排名分析是一款離線分析應(yīng)用。

從大數(shù)據(jù)項(xiàng)目的流程來看，大數(shù)據(jù)包括:數(shù)據(jù)采集、數(shù)據(jù)收集、數(shù)據(jù)轉(zhuǎn)換與存儲(chǔ)、數(shù)據(jù)建模與分析、上層應(yīng)用展示等等。大數(shù)據(jù)的難點(diǎn)在于海量數(shù)據(jù)的分析，而海量數(shù)據(jù)的分析又涉及到海量數(shù)據(jù)存儲(chǔ)和分析架構(gòu)。

根據(jù)hadoop的技術(shù)體系，flume用于收集和轉(zhuǎn)換存儲(chǔ)在各種服務(wù)器中的日志和數(shù)據(jù)，并存儲(chǔ)在hdfs文件系統(tǒng)或hive或hbase等數(shù)據(jù)倉庫中，然后使用Hadoop架構(gòu)的規(guī)范編寫mapreduc

要開發(fā)一個(gè)軟件應(yīng)該考慮哪些方面？

軟件是一個(gè)系統(tǒng)工程，業(yè)內(nèi)有軟件工程的說法。軟件工程也是各個(gè)學(xué)校計(jì)算機(jī)系的必修科目。開發(fā)一個(gè)軟件需要考慮哪些方面？我們將引入軟件工程中的一些概念和元素來描述它們。

同時(shí)，作為企業(yè)、客戶或個(gè)人，在軟件開發(fā)中，不僅要考慮軟件工程，還要考慮相關(guān)資源。這里的資源包括人、預(yù)算、費(fèi)用、時(shí)間等等。而這些都包括在內(nèi)，這就涉及到項(xiàng)目管理的范圍。

接下來我將從軟件工程和項(xiàng)目管理的角度來描述軟件開發(fā)中需要注意的方面。

從軟件工程的角度來說，軟件開發(fā)包括前期的需求分析、系統(tǒng)設(shè)計(jì)、詳細(xì)設(shè)計(jì)，然后就到了大家通常認(rèn)為的編碼實(shí)現(xiàn)階段，然后就是測(cè)試和培訓(xùn)，上線交付。最后，還有一個(gè)不可忽視的階段，就是部門。統(tǒng)一維護(hù)階段。

需求分析階段:訪談、工作坊、問卷等。通常被采用，高級(jí)應(yīng)用/業(yè)務(wù)顧問了解來自客戶的需求并確認(rèn)它。初期的需求分析很重要。稍有偏差，就有一失足成千古恨的風(fēng)險(xiǎn)。相信大部分程序員朋友都經(jīng)歷過變化，尤其是項(xiàng)目后期。當(dāng)你的代碼經(jīng)過一遍又一遍的測(cè)試后，你就有信心幾乎沒有bug了。這時(shí)候領(lǐng)導(dǎo)跟你說對(duì)不起，改的來了，你做的那塊要改成這個(gè)，還有:(改成那個(gè))。當(dāng)然，項(xiàng)目需求收集和分析的前期有很多不確定性，所以我強(qiáng)調(diào)需要有自己的應(yīng)用/業(yè)務(wù)顧問來把關(guān)。當(dāng)然，有些變化是不可避免的。系統(tǒng)設(shè)計(jì):需求分析后，需要進(jìn)行方案設(shè)計(jì)。這時(shí)，解決方案架構(gòu)師進(jìn)入現(xiàn)場(chǎng)(高級(jí)解決方案架構(gòu)師)。如果說后期編碼實(shí)現(xiàn)很容易的話，如果在系統(tǒng)設(shè)計(jì)階段有一個(gè)大牛學(xué)長的話，后面的日子會(huì)輕松很多。包括系統(tǒng)的基本處理流程、組織結(jié)構(gòu)、模塊劃分、功能分配、界面設(shè)計(jì)、操作設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)和錯(cuò)誤處理設(shè)計(jì)。有時(shí)候需要新技術(shù)，需要快速研究新技術(shù)。在今天 在技術(shù)蓬勃發(fā)展的年代，有時(shí)顧客 需求必須使用新技術(shù)，可能之前整個(gè)團(tuán)隊(duì)都沒有接觸過。這時(shí)候建筑師就有必要從整體上檢查一下情況。通常，有技術(shù)天賦的團(tuán)隊(duì)成員會(huì)進(jìn)行技術(shù)可行性研究。詳細(xì)設(shè)計(jì):在系統(tǒng)設(shè)計(jì)階段完成大框架結(jié)構(gòu)和技術(shù)方向。確定后，將對(duì)每個(gè)模塊進(jìn)行詳細(xì)設(shè)計(jì)。一個(gè)好的詳細(xì)設(shè)計(jì)文檔包含模塊中所有用例的邏輯處理以及邏輯處理中涉及的算法。通常需要高級(jí)程序員來編寫這部分文檔。寫好文檔，編碼后面的同學(xué)就輕松了。編碼實(shí)現(xiàn):如果詳細(xì)設(shè)計(jì)做得好，這個(gè)階段會(huì)相對(duì)容易。但是程序員的基本功還是很苛刻的。還有一點(diǎn)就是一定要做好自己的單元測(cè)試。測(cè)試訓(xùn)練:這個(gè)階段其實(shí)分為兩個(gè)小階段。一個(gè)是測(cè)試，一個(gè)是用戶培訓(xùn)。測(cè)試包括組裝測(cè)試、壓力測(cè)試等等，最后是UAT(用戶驗(yàn)收測(cè)試)。如果沒有問題，就選個(gè)好日子上線。用戶培訓(xùn)非常重要，不可忽視，直接關(guān)系到最終用戶對(duì)整個(gè)系統(tǒng)的接受程度。一般會(huì)先挑選種子用戶進(jìn)行功能培訓(xùn)，所有用戶和種子用戶一起進(jìn)行整個(gè)軟件的使用培訓(xùn)。在線交付:許多先前的階段已經(jīng)完成，并且一些測(cè)試也通過了，所以上線會(huì)一帆風(fēng)順。呵呵，根據(jù)我的經(jīng)驗(yàn)，不一定。上線的時(shí)候多多少少都有些蛀蟲。新系統(tǒng)運(yùn)行良好。對(duì)于舊系統(tǒng)升級(jí)，如果系統(tǒng)相當(dāng)龐大，在國內(nèi)只能在國慶/春節(jié)進(jìn)行。為什么，有7天假期，也就是說，用戶7天不會(huì)使用系統(tǒng)，如果在這7天內(nèi)出現(xiàn)問題，不會(huì)影響用戶 s操作。但是如果你能 7天內(nèi)不能上線，我 對(duì)不起，所以我必須回去等待下一個(gè)7天假期。維護(hù):it 當(dāng)我們上網(wǎng)時(shí)，是慶祝的時(shí)候了。一般軟件公司上線后都會(huì)有慶功宴。慶典結(jié)束后，唐 不要忘記軟件系統(tǒng)的維護(hù)。首先，沒有一個(gè)系統(tǒng)能保證沒有bug。其次，對(duì)于實(shí)際應(yīng)用，對(duì)于復(fù)雜系統(tǒng)，每天產(chǎn)生的數(shù)據(jù)量是巨大的，對(duì)于性能，需要有相關(guān)的監(jiān)控和對(duì)應(yīng)。用戶使用一段時(shí)間后，會(huì)發(fā)現(xiàn)一些問題，產(chǎn)生一些需求。因此，軟件系統(tǒng)的維護(hù)也很重要。

上面說了這么多，都是從軟件工程的角度，還有高級(jí)架構(gòu)師，高級(jí)顧問，好的詳細(xì)設(shè)計(jì)等等。這些都是需要爭取的資源。如果我們能 我贏不了他們。;對(duì)不起，項(xiàng)目經(jīng)理必須努力工作。

接下來，從軟件開發(fā)和項(xiàng)目管理的角度來看，需要注意什么？我用PMP系統(tǒng)來描述項(xiàng)目管理。我以前通過了PMP認(rèn)證，覺得PMP系統(tǒng)在整個(gè)項(xiàng)目管理過程中也是有效的。PMP涉及項(xiàng)目范圍管理、時(shí)間管理、成本管理、質(zhì)量管理、人力資源管理、溝通管理、風(fēng)險(xiǎn)管理、采購管理和利益相關(guān)者管理。我將描述對(duì)軟件開發(fā)特別重要的幾個(gè)環(huán)節(jié)。

時(shí)間管理:開發(fā)軟件的時(shí)候，一定要有一個(gè)時(shí)間表，什么時(shí)候開始，什么時(shí)候結(jié)束。那么這里的日程就顯得尤為重要。它必須在指定的時(shí)間送到。成本管理:無論是公司、客戶還是獨(dú)立的自然人，在資源和時(shí)間都有限的今天，能夠投入到軟件開發(fā)中的資源也是有限的。如何在給定的資源下完成軟件開發(fā)，是對(duì)項(xiàng)目經(jīng)理的一個(gè)要求。很有可能我上面說的高級(jí)顧問、高級(jí)架構(gòu)師、項(xiàng)目經(jīng)理根本沒有，或者公司可以 我無法提供。這時(shí)候就要另想辦法了。風(fēng)險(xiǎn)管理:進(jìn)行早期風(fēng)險(xiǎn)識(shí)別和相應(yīng)的定性定量分析，制定應(yīng)對(duì)方案，實(shí)現(xiàn)風(fēng)險(xiǎn)控制。實(shí)施整體變更控制:大多數(shù)項(xiàng)目都會(huì)發(fā)生變更，軟件開發(fā)也不例外。筆者對(duì)此頗有心得。對(duì)項(xiàng)目經(jīng)理來說，控制變更也是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

以上都考慮到了，基本上整個(gè)軟件開發(fā)不會(huì)有什么大問題。

如需進(jìn)一步溝通，請(qǐng)留言或私信。