大數(shù)據(jù)的含義和作用是什么？大數(shù)據(jù)簡直就是現(xiàn)實世界的數(shù)據(jù)化！大數(shù)據(jù)對于個人的意義是:個人與信息的強強聯(lián)合，個人自帶可信信息。就拿健康碼來說，為什么綠色碼可以發(fā)布？為什么所有檢查點看到綠碼就放行？因為綠色

大數(shù)據(jù)的含義和作用是什么？

大數(shù)據(jù)簡直就是現(xiàn)實世界的數(shù)據(jù)化！

大數(shù)據(jù)對于個人的意義是:個人與信息的強強聯(lián)合，個人自帶可信信息。

就拿健康碼來說，為什么綠色碼可以發(fā)布？為什么所有檢查點看到綠碼就放行？因為綠色代碼攜帶個人安全健康信息，說明這個人風(fēng)險低。

也就是說，健康碼是個人信息的一部分，是可信的。

健康代碼的存在是基于大數(shù)據(jù)的。我們會休息，但手機不會休息，所以我們的位置信息隨時隨地被記錄，形成了個人的行動路徑。我們是否經(jīng)過了高危區(qū)域，甚至劃分為社區(qū)和小區(qū)？通過收集大量類似的個人數(shù)據(jù)，最終形成綠色健康碼。證明我們是安全的，我們沒有攜帶病毒。

早期的互聯(lián)網(wǎng)，人和信息是分離的。電腦固定在一個地方，我們只能收集ip和個人賬戶信息。地理位置只能靠ip推測。那時候精準推送廣告是非常困難的。只能按地區(qū)推。

現(xiàn)在，隨著智能手機的大規(guī)模普及，我們不可避免地開始通過各種渠道泄露我們的個人數(shù)據(jù)用戶協(xié)議和，比如去了哪里，買了什么，和誰是朋友以及一些基本信息，性別，年齡等等。

所以大數(shù)據(jù)算法可以計算出我們的行動路徑，我們的興趣愛好，活躍時間，我們喜歡什么app，喜歡什么文章。最終，漸漸地，我們個人的數(shù)據(jù)形象越來越接近真實的我們。

健康碼的出現(xiàn)幾乎是我們個人數(shù)據(jù)圖像幾乎等同于真實的我們的一個正面證明。

這是大數(shù)據(jù)時代，我們逐漸變得越來越透明，越來越數(shù)字化。

數(shù)據(jù)就是我們，我們就是數(shù)據(jù)！

大數(shù)據(jù)處理的流程是什么？

什么是大數(shù)據(jù)？大數(shù)據(jù)指的是能夠 傳統(tǒng)軟件工具在一定時間內(nèi)無法捕捉、管理和處理。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式來擁有更強的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

大數(shù)據(jù)的5V特征:體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實性(真實性)，百度隨便就能找到。？

大數(shù)據(jù)處理流程:

？ 收集數(shù)據(jù)，建立數(shù)據(jù)倉庫。數(shù)據(jù)采集是指數(shù)據(jù)通過前端埋點傳遞，接口日志調(diào)用流數(shù)據(jù)，數(shù)據(jù)庫抓取，客戶自己上傳數(shù)據(jù)，這些信息的基礎(chǔ)數(shù)據(jù)保存在各個維度，有些數(shù)據(jù)是沒有用的(剛開始只是想著功能，有些數(shù)據(jù)沒有采集，？后來被老板罵了)。

？？2.數(shù)據(jù)清洗/預(yù)處理:對接收到的數(shù)據(jù)進行簡單的處理，比如將ip轉(zhuǎn)換成地址，過濾掉臟數(shù)據(jù)。

？？3.有了數(shù)據(jù)之后，就可以處理數(shù)據(jù)了。有許多處理數(shù)據(jù)的方法。一般來說，離線處理分為離線處理和實時處理。離線處理意味著每日計劃處理。阿里 常用的有s maxComputer，hive，MapReduce MapReduce，離線處理主要用Storm，Spark，Hadoop。通過一些數(shù)據(jù)處理框架，可以把數(shù)據(jù)計算成各種KPI。我們需要注意這里，唐 t只考慮功能，主要是構(gòu)建各種數(shù)據(jù)維度，完成基礎(chǔ)數(shù)據(jù)，可復(fù)用。以后就可以隨意展示各種KPI了。

？？？？4.數(shù)據(jù)顯示，數(shù)據(jù)沒用。要可視化，要達到MVP，就是快速做出一個效果，不適合及時調(diào)整。這有點類似于Scrum敏捷開發(fā)。數(shù)據(jù)顯示可以用datav、廁神等完成。，前端可以忽略。自己畫頁面。

數(shù)據(jù)采集:

？？？？1.批量數(shù)據(jù)采集就是每天定時去數(shù)據(jù)庫抓取數(shù)據(jù)快照。我們使用maxComputer，它可以根據(jù)需要每天對數(shù)據(jù)庫設(shè)置一個快照。如何備份，如何設(shè)置數(shù)據(jù)源，如何設(shè)置錯誤都在maxComputer中有記載。要使用maxComputer，需要注冊阿里云服務(wù)。

？？？？2.實時接口調(diào)用數(shù)據(jù)采集，可以使用logHub、dataHub和流數(shù)據(jù)處理技術(shù)。數(shù)據(jù)中心具有高可用性、低延遲、高可擴展性和高吞吐量的特點。

高吞吐量:可以支持單個主題每天最多寫T級數(shù)據(jù)，每個分片每天最多寫8000萬條記錄。

實時:通過DataHub，可以收集各種生成的數(shù)據(jù)，并實時處理。

設(shè)計思路:首先寫一個sdk，記錄公司所有后臺服務(wù)調(diào)用接口調(diào)用，開辟一個線程池，將記錄的數(shù)據(jù)連續(xù)存儲在dataHub和log hub中，前提是設(shè)置好接收數(shù)據(jù)的data hub表結(jié)構(gòu)。

3.將根據(jù)業(yè)務(wù)需求設(shè)置的前臺數(shù)據(jù)嵌入點也通過流數(shù)據(jù)傳輸?shù)綌?shù)據(jù)倉庫，如上面的第二步。

數(shù)據(jù)處理:

數(shù)據(jù)采集后可以進行數(shù)據(jù)處理，分為離線批量處理和實時處理。

？？？？1.離線批處理maxComputer，是阿里提供的大數(shù)據(jù)處理服務(wù)，是一個快速、全托管的TB/PB數(shù)據(jù)倉庫解決方案。通過編寫數(shù)據(jù)處理腳本，設(shè)置任務(wù)執(zhí)行時間和任務(wù)執(zhí)行條件，就可以根據(jù)自己的要求生成每天需要的數(shù)據(jù)。

？？？？2.實時處理:對于storm/spark，目前互聯(lián)網(wǎng)上只有少數(shù)幾個storm、strom的基本概念。這里 這是一般的處理過程。首先，設(shè)置要讀取的數(shù)據(jù)源，打開即可。移動風(fēng)暴會連續(xù)讀取數(shù)據(jù)源。Spout，用于讀取數(shù)據(jù)。元組:消息傳遞的基本單元，這意味著一組消息是一個元組。Stream，用于傳輸流和元組的集合。Bolt:接受數(shù)據(jù)，然后執(zhí)行處理的組件，用戶可以在其中執(zhí)行所需的操作。你可以在里面寫業(yè)務(wù)邏輯。風(fēng)暴不會。;t保存結(jié)果，但是您需要編寫自己的代碼來保存它們?？偟膩碚f，這是一個拓撲。一般來說，把拓撲提交給服務(wù)器后，他會一直讀取數(shù)據(jù)源，然后通過stream讓數(shù)據(jù)流動，通過他寫的Bolt代碼處理數(shù)據(jù)，然后保存到任何地方。有關(guān)于如何安裝和部署storm以及如何設(shè)置數(shù)據(jù)源的教程。我贏了。;這里就不多說了。

數(shù)據(jù)呈現(xiàn):做了這么多，終于可以直觀的呈現(xiàn)了。因為前端技術(shù)不行，所以我們借用了第三方呈現(xiàn)平臺DataV，支持兩種數(shù)據(jù)讀取模式。第一，我們可以直接讀取數(shù)據(jù)庫，通過sql找出你的計算數(shù)據(jù)，你需要配置數(shù)據(jù)源。讀取數(shù)據(jù)后，我們可以根據(jù)給定的格式對其進行格式化來顯示。

@jiaoready @jiaoready第二種是使用接口?？梢灾苯邮褂胊pi，在數(shù)據(jù)區(qū)配置成api，填寫接口地址和需要的參數(shù)，這樣我就贏了 這里就不多說了。

這次記錄這么多，以后再補充。內(nèi)容原創(chuàng)。如有不妥，請評論指正。