實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)如何做？雖然我做報(bào)表和Bi，但是報(bào)表和Bi的效果比較好，底層的數(shù)據(jù)非常重要，數(shù)據(jù)架構(gòu)也非常重要，這就必然涉及到數(shù)據(jù)倉(cāng)庫(kù)。讓我們先放一些圖片：如果你想建立一個(gè)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，你必須知道：1。什

實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)如何做？

雖然我做報(bào)表和Bi，但是報(bào)表和Bi的效果比較好，底層的數(shù)據(jù)非常重要，數(shù)據(jù)架構(gòu)也非常重要，這就必然涉及到數(shù)據(jù)倉(cāng)庫(kù)。

讓我們先放一些圖片：

如果你想建立一個(gè)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，你必須知道：

1。什么是數(shù)據(jù)倉(cāng)庫(kù)

2。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)有什么區(qū)別。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)有什么區(qū)別

4。什么是實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)

5。怎么做

這些問(wèn)題在上圖中都是抽象的。解釋哪些問(wèn)題需要弄清楚需要花很長(zhǎng)時(shí)間，我在以前的文章中已經(jīng)寫(xiě)過(guò)了。你可以去看看。

如何基于Spark Streaming構(gòu)建實(shí)時(shí)計(jì)算平臺(tái)？

Spark streaming是一個(gè)基于Spark的實(shí)時(shí)計(jì)算框架，它擴(kuò)展了Spark處理大規(guī)模流數(shù)據(jù)的能力。spark流的優(yōu)點(diǎn)是它可以在1000個(gè)節(jié)點(diǎn)上以秒延遲運(yùn)行。

采用基于內(nèi)存的spark作為執(zhí)行引擎，具有高效、容錯(cuò)的特點(diǎn)。

可以集成批量處理和spark的交互式查詢。

它提供了一個(gè)簡(jiǎn)單的界面，類似于復(fù)雜算法的批處理。

正是由于這個(gè)原因，spark-streaming受到了很多企業(yè)的追捧，在生產(chǎn)項(xiàng)目中得到了廣泛的應(yīng)用，但在使用過(guò)程中也存在一些熱點(diǎn)問(wèn)題。

原文的詳細(xì)解釋：https://blog.csdn.net/GitChat/article/details/78050311