統(tǒng)計數(shù)據(jù)采集方案的主要內容？采集要有針對性，在抽樣調查的基礎上進行，實地調查和抽樣調查相結合，按數(shù)量和金額采集。大數(shù)據(jù)處理的流程是什么？什么是大數(shù)據(jù)？大數(shù)據(jù)指的是能夠 傳統(tǒng)軟件工具在一定時間內無法捕捉

統(tǒng)計數(shù)據(jù)采集方案的主要內容？

采集要有針對性，在抽樣調查的基礎上進行，實地調查和抽樣調查相結合，按數(shù)量和金額采集。

大數(shù)據(jù)處理的流程是什么？

什么是大數(shù)據(jù)？大數(shù)據(jù)指的是能夠 傳統(tǒng)軟件工具在一定時間內無法捕捉、管理和處理。它是一種海量、高增長、多元化的信息資產，需要一種新的處理模式來擁有更強的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

大數(shù)據(jù)的5V特征:體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實性(真實性)，百度隨便就能找到。？

大數(shù)據(jù)處理流程:

？ 收集數(shù)據(jù)，建立數(shù)據(jù)倉庫。數(shù)據(jù)采集是指數(shù)據(jù)通過前端埋點傳遞，接口日志調用流數(shù)據(jù)，數(shù)據(jù)庫抓取，客戶自己上傳數(shù)據(jù)，這些信息的基礎數(shù)據(jù)保存在各個維度，有些數(shù)據(jù)是沒有用的(剛開始只是想著功能，有些數(shù)據(jù)沒有采集，？后來被老板罵了)。

？？2.數(shù)據(jù)清洗/預處理:對接收到的數(shù)據(jù)進行簡單的處理，比如將ip轉換成地址，過濾掉臟數(shù)據(jù)。

？？3.有了數(shù)據(jù)之后，就可以處理數(shù)據(jù)了。有許多處理數(shù)據(jù)的方法。一般來說，離線處理分為離線處理和實時處理。離線處理意味著每日計劃處理。阿里 常用的有s maxComputer，hive，MapReduce MapReduce，離線處理主要用Storm，Spark，Hadoop。通過一些數(shù)據(jù)處理框架，可以把數(shù)據(jù)計算成各種KPI。我們需要注意這里，唐 t只考慮功能，主要是構建各種數(shù)據(jù)維度，完成基礎數(shù)據(jù)，可復用。以后就可以隨意展示各種KPI了。

？？？？4.數(shù)據(jù)顯示，數(shù)據(jù)沒用。要可視化，要達到MVP，就是快速做出一個效果，不適合及時調整。這有點類似于Scrum敏捷開發(fā)。數(shù)據(jù)顯示可以用datav、廁神等完成。，前端可以忽略。自己畫頁面。

數(shù)據(jù)采集:

？？？？1.批量數(shù)據(jù)采集就是每天定時去數(shù)據(jù)庫抓取數(shù)據(jù)快照。我們使用maxComputer，它可以根據(jù)需要每天對數(shù)據(jù)庫設置一個快照。如何備份，如何設置數(shù)據(jù)源，如何設置錯誤都在maxComputer中有記載。要使用maxComputer，需要注冊阿里云服務。

？？？？2.實時接口調用數(shù)據(jù)采集，可以使用logHub、dataHub和流數(shù)據(jù)處理技術。數(shù)據(jù)中心具有高可用性、低延遲、高可擴展性和高吞吐量的特點。

高吞吐量:可以支持單個題目每天寫T級數(shù)據(jù)，每個分片每天可以寫8個。000萬次創(chuàng)紀錄的寫入。

實時:通過DataHub，可以收集各種生成的數(shù)據(jù)，并實時處理。

設計思路:首先寫一個sdk，記錄公司所有后臺服務調用接口調用，開辟一個線程池，將記錄的數(shù)據(jù)連續(xù)存儲在dataHub和log hub中，前提是設置好接收數(shù)據(jù)的data hub表結構。

3.將根據(jù)業(yè)務需求設置的前臺數(shù)據(jù)嵌入點也通過流數(shù)據(jù)傳輸?shù)綌?shù)據(jù)倉庫，如上面的第二步。

數(shù)據(jù)處理:

數(shù)據(jù)采集后可以進行數(shù)據(jù)處理，分為離線批量處理和實時處理。

？？？？1.離線批處理maxComputer，是阿里提供的大數(shù)據(jù)處理服務，是一個快速、全托管的TB/PB數(shù)據(jù)倉庫解決方案。通過編寫數(shù)據(jù)處理腳本，設置任務執(zhí)行時間和任務執(zhí)行條件，就可以根據(jù)自己的要求生成每天需要的數(shù)據(jù)。

？？？？2.實時處理:采用storm/spark，目前網上接觸到的storm和storm、strom的基本概念屈指可數(shù)。這里描述了一般的處理過程。首先設置好要讀取的數(shù)據(jù)源，只要啟動Storm，就會無休止地讀取數(shù)據(jù)源。Spout，用于讀取數(shù)據(jù)。元組:消息傳遞的基本單元，這意味著一組消息是一個元組。流，用于傳輸流，元組的集合。Bolt:接受數(shù)據(jù)，然后執(zhí)行處理的組件，用戶可以在其中執(zhí)行所需的操作。你可以在里面寫業(yè)務邏輯。風暴不會。;t保存結果，但是您需要編寫自己的代碼來保存它們。總的來說，這是一個拓撲。一般來說，把拓撲提交給服務器后，他會一直讀取數(shù)據(jù)源，然后通過stream讓數(shù)據(jù)流動，通過他寫的Bolt代碼處理數(shù)據(jù)，然后保存到任何地方。有關于如何安裝和部署storm以及如何設置數(shù)據(jù)源的教程。我贏了。;這里就不多說了。

數(shù)據(jù)呈現(xiàn):做了這么多，終于可以直觀的呈現(xiàn)了。因為前端技術不行，所以我們借用了第三方呈現(xiàn)平臺DataV，支持兩種數(shù)據(jù)讀取模式。第一，我們可以直接讀取數(shù)據(jù)庫，通過sql找出你的計算數(shù)據(jù)，你需要配置數(shù)據(jù)源。讀取數(shù)據(jù)后，我們可以根據(jù)給定的格式對其進行格式化來顯示。

@jiaoready @jiaoready第二種是使用接口。可以直接使用api，在數(shù)據(jù)區(qū)配置成api，填寫接口地址和需要的參數(shù)，這樣我就贏了 這里就不多說了。

這次記錄這么多，以后再補充。內容原創(chuàng)。如有不妥，請評論指正。