請闡述數(shù)據(jù)實時計算的基本處理流程？第一步：收集大數(shù)據(jù)的收集是指使用多個數(shù)據(jù)庫從客戶端(Web、App或傳感器等)接收數(shù)據(jù)。)，用戶可以通過這些數(shù)據(jù)庫進行簡單的查詢和處理。在采集大數(shù)據(jù)的過程中，其主要特

請闡述數(shù)據(jù)實時計算的基本處理流程？

第一步：收集

大數(shù)據(jù)的收集是指使用多個數(shù)據(jù)庫從客戶端(Web、App或傳感器等)接收數(shù)據(jù)。)，用戶可以通過這些數(shù)據(jù)庫進行簡單的查詢和處理。在采集大數(shù)據(jù)的過程中，其主要特點和挑戰(zhàn)是高并發(fā)，因為可能會有成千上萬的用戶同時訪問和操作，因此需要在采集端部署大量的數(shù)據(jù)庫來支撐。

步驟2:導(dǎo)入/預(yù)處理

雖然采集終端本身有很多數(shù)據(jù)庫，但是要想有效的分析這些海量數(shù)據(jù)，就要把這些數(shù)據(jù)從前端導(dǎo)入到一個集中式的大型分布式數(shù)據(jù)庫或者分布式存儲集群中，在導(dǎo)入的基礎(chǔ)上可以做一些簡單的清理和預(yù)處理。

導(dǎo)入和預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入數(shù)據(jù)量大，往往達到每秒百兆甚至千兆的水平。

第三步：統(tǒng)計/分析

統(tǒng)計分析主要是利用分布式數(shù)據(jù)庫或分布式計算集群，對存儲在其中的海量數(shù)據(jù)進行分析歸類，以滿足大多數(shù)常見的分析需求。

統(tǒng)計與分析的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，會占用大量的系統(tǒng)資源，尤其是I/O。

第四步：挖掘。

一般來說，數(shù)據(jù)挖掘沒有預(yù)設(shè)的主題，主要是基于各種算法對現(xiàn)有數(shù)據(jù)進行計算，從而達到預(yù)測的效果，滿足一些高層數(shù)據(jù)分析的需要。

這個過程的特點和挑戰(zhàn)是，用于挖掘的算法非常復(fù)雜，涉及的數(shù)據(jù)量和計算量非常大。常用的數(shù)據(jù)挖掘算法主要是單線程的。

實時數(shù)據(jù)采集是啥意思？我理解的就是時間和數(shù)據(jù)的對應(yīng)，如表格一樣，一個時間對應(yīng)一個數(shù)據(jù)這種的？

實時的意思是：你換，我就拿。

什么都沒有改變。我懶得動。一個時間對應(yīng)一個數(shù)據(jù)，沒錯。

大數(shù)據(jù)的采集方式不包括？

不包括對數(shù)據(jù)的檢查。

大數(shù)據(jù)采集方法包括：網(wǎng)絡(luò)爬蟲、開放數(shù)據(jù)庫、使用軟件接口、軟件機器人采集等。

1.網(wǎng)絡(luò)爬蟲(Web crawler):模擬客戶端的網(wǎng)絡(luò)請求并接收請求響應(yīng)，按照一定的規(guī)則自動抓取萬維網(wǎng)上的信息的程序或腳本。

2.開放式數(shù)據(jù)庫：開放式數(shù)據(jù)庫方式可以直接從目標數(shù)據(jù)庫中獲取所需數(shù)據(jù)，準確率高，實時性有保證，是一種比較直接方便的方式。

3.使用軟件接口：一種常見的數(shù)據(jù)對接方式，通過軟件廠商開放數(shù)據(jù)接口，可以實現(xiàn)不同軟件數(shù)據(jù)的互聯(lián)。

4.軟件機器人收集：它可以從客戶端和網(wǎng)站收集軟件數(shù)據(jù)。

redis可以代替實時數(shù)據(jù)庫嗎？

這取決于你如何使用這些數(shù)據(jù)。如果你收集了，只是緩存，然后接口從redis拉實時數(shù)據(jù)來顯示，那么用redis問題不大。redis每秒寫50萬個樣本應(yīng)該沒問題。

但是實時數(shù)據(jù)庫不僅僅是數(shù)據(jù)緩存。如果需要采樣數(shù)據(jù)進行二次計算(比如將管道中的熱水流量轉(zhuǎn)化為熱能流量)并按時間順序保存為歷史數(shù)據(jù)(必要時可以從實時數(shù)據(jù)庫中查詢某個測點最近一周、一個月甚至一年的歷史數(shù)據(jù))，那么就必須使用實時數(shù)據(jù)庫。

但是實時數(shù)據(jù)庫太貴了，近幾年興起的tsdb也是你可以考慮的一個選擇。用redis存儲實時數(shù)據(jù)，用tsdb存儲歷史數(shù)據(jù)，性價比相當高。