有用全開源軟件做的數(shù)據(jù)倉庫架構(gòu)嗎？是的，基于Hadoop生態(tài)的數(shù)據(jù)倉庫是開源的。數(shù)據(jù)倉庫體系結(jié)構(gòu)最重要的部分是ETL、數(shù)據(jù)存儲(chǔ)、任務(wù)調(diào)度和元數(shù)據(jù)管理。ETL：使用sqoop、MapReduce、spa

有用全開源軟件做的數(shù)據(jù)倉庫架構(gòu)嗎？

是的，基于Hadoop生態(tài)的數(shù)據(jù)倉庫是開源的。

數(shù)據(jù)倉庫體系結(jié)構(gòu)最重要的部分是ETL、數(shù)據(jù)存儲(chǔ)、任務(wù)調(diào)度和元數(shù)據(jù)管理。

ETL：使用sqoop、MapReduce、spark等

數(shù)據(jù)存儲(chǔ)：使用HDFS

任務(wù)調(diào)度：使用airflow

元數(shù)據(jù)管理：使用atlas

雖然我做報(bào)表和Bi，但是報(bào)表和Bi的效果更好，底層數(shù)據(jù)非常重要，數(shù)據(jù)架構(gòu)也非常重要，這必然涉及到數(shù)據(jù)倉庫。

讓我們先放一些圖片：

如果你想建立一個(gè)實(shí)時(shí)數(shù)據(jù)倉庫，你必須知道：

1。什么是數(shù)據(jù)倉庫

2。實(shí)時(shí)數(shù)據(jù)倉庫和數(shù)據(jù)庫有什么區(qū)別。實(shí)時(shí)數(shù)據(jù)倉庫和傳統(tǒng)數(shù)據(jù)倉庫有什么區(qū)別

4。什么是實(shí)時(shí)數(shù)據(jù)倉庫的體系結(jié)構(gòu)

5。怎么做

這些問題在上圖中都是抽象的。解釋哪些問題需要弄清楚需要花很長時(shí)間，我在以前的文章中已經(jīng)寫過了。你可以去看看。