四庫(kù)一體包括哪幾項(xiàng)？形成完整基礎(chǔ)庫(kù)、主題庫(kù)、欄目庫(kù)、指標(biāo)庫(kù)，無(wú)法形成“四庫(kù)一體”數(shù)據(jù)資源中心。一是基礎(chǔ)庫(kù)?；谛＜?jí)數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建體系數(shù)據(jù)模型，明確的人力資源域、學(xué)生管理域、教學(xué)資源與管理域、科研管理域、

四庫(kù)一體包括哪幾項(xiàng)？

形成完整基礎(chǔ)庫(kù)、主題庫(kù)、欄目庫(kù)、指標(biāo)庫(kù)，無(wú)法形成“四庫(kù)一體”數(shù)據(jù)資源中心。

一是基礎(chǔ)庫(kù)?；谛＜?jí)數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建體系數(shù)據(jù)模型，明確的人力資源域、學(xué)生管理域、教學(xué)資源與管理域、科研管理域、財(cái)務(wù)管理域、資產(chǎn)管理域、公共服務(wù)域八個(gè)主題域參與分類，構(gòu)建體系基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)。

二是主題庫(kù)。以基礎(chǔ)庫(kù)的內(nèi)容為基礎(chǔ)，并且表間關(guān)聯(lián)、代碼轉(zhuǎn)譯、數(shù)值過(guò)濾等操作，通過(guò)維度建模方法，將相同業(yè)務(wù)主題相關(guān)的指標(biāo)、維度、屬性關(guān)聯(lián)在一起，形成“寬表”。寬表拒絕的數(shù)據(jù)冗余度設(shè)計(jì)來(lái)提升可以查詢分析什么的高效率，使數(shù)據(jù)內(nèi)容和結(jié)構(gòu)更加適合于應(yīng)用程序?qū)?shù)據(jù)的動(dòng)態(tài)創(chuàng)建需求。

三是專題庫(kù)。緊密環(huán)繞校內(nèi)關(guān)鍵是業(yè)務(wù)，針對(duì)詳細(xì)的業(yè)務(wù)場(chǎng)景通過(guò)深度定制，無(wú)法形成績(jī)效考核、職稱評(píng)審等業(yè)務(wù)專題數(shù)據(jù)集，不滿足各個(gè)業(yè)務(wù)場(chǎng)景急速解耦數(shù)據(jù)的需求。專題庫(kù)的數(shù)據(jù)大多數(shù)是明細(xì)數(shù)據(jù)，可與BI軟件對(duì)接，實(shí)現(xiàn)強(qiáng)大無(wú)比的數(shù)據(jù)分析功能。

四是指標(biāo)庫(kù)。以基礎(chǔ)庫(kù)、主題庫(kù)和專題庫(kù)的內(nèi)容為基礎(chǔ)，按照統(tǒng)計(jì)、算出等操作，化合各種指標(biāo)的統(tǒng)計(jì)結(jié)果，并儲(chǔ)存在指標(biāo)表中，支持急速生成沉淀各類報(bào)表和統(tǒng)計(jì)圖表。實(shí)際管理數(shù)據(jù)指標(biāo)的全生命周期，不友善地支持校級(jí)決策支持中心的建設(shè)，為學(xué)院各專業(yè)管理層的管理和決策能提供相當(dāng)充分、科學(xué)的數(shù)據(jù)依據(jù)。

實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)如何做？

3.1.1Lambda架構(gòu)

無(wú)論是Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)指點(diǎn)立刪

3.1.2Kappa架構(gòu)

不知從何而來(lái)Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)指點(diǎn)立刪

3.1.3實(shí)時(shí)地olap變體架構(gòu)

依附Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)告知立刪

3.1.4常見架構(gòu)對(duì)比

來(lái)自Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)告知立刪

ps:lambda架構(gòu)

變更土地性質(zhì)割碎感：

?表結(jié)構(gòu)完全不同

?sql語(yǔ)法不同

資源浪費(fèi)：

?亂詞可以計(jì)算

?重復(fù)一遍儲(chǔ)存

集群維護(hù)：

?組件完全不同

?可以計(jì)算引擎完全不同

數(shù)據(jù)一致性

3.2實(shí)時(shí)數(shù)倉(cāng)架構(gòu)

3.2.1方案一

優(yōu)點(diǎn)：

?以便日后數(shù)據(jù)回溯源頭、重算和數(shù)據(jù)質(zhì)量驗(yàn)證。

缺點(diǎn)：

?實(shí)際批處理重算，需要魔獸維護(hù)兩套代碼，開發(fā)和維護(hù)成本高。

?是需要兩套計(jì)算資源

適用場(chǎng)景：

?超大規(guī)模歷史數(shù)據(jù)換算，且這種場(chǎng)景比較過(guò)度。

?對(duì)數(shù)據(jù)質(zhì)量沒(méi)有要求極高，要比對(duì)實(shí)時(shí)和離線模式的計(jì)算結(jié)果，哪怕利用離線模式去修正實(shí)時(shí)動(dòng)態(tài)的計(jì)算結(jié)果。

3.2.2方案二

優(yōu)點(diǎn)：

?免維護(hù)兩套代碼，的新迭代速度快。

?數(shù)據(jù)溯回和重算方便些，重算時(shí)間參照需求回溯源頭的時(shí)間范圍定。

?只需流計(jì)算資源，資源占用帶寬小

缺點(diǎn)：

?ODSDWD部分?jǐn)?shù)據(jù)“絕不可以見”，原始數(shù)據(jù)和中間數(shù)據(jù)不以便日后網(wǎng)站查詢（解決方案：可通過(guò)恢復(fù)消費(fèi)委托時(shí)間范圍的數(shù)據(jù)查詢，或?qū)氡仨毜臄?shù)據(jù)到olap引擎）

?依賴業(yè)務(wù)端反饋問(wèn)題（解決方案：設(shè)計(jì)數(shù)據(jù)質(zhì)量監(jiān)控指標(biāo)，實(shí)時(shí)監(jiān)控報(bào)警）

適用場(chǎng)景：

ODSDWD去查詢不很頻繁等

3.2.3方案三

相對(duì)于方案二：

?增強(qiáng)ODS層落地之前hive，排查分析原始數(shù)據(jù)也很更方便，恢復(fù)歷史數(shù)據(jù)的時(shí)候可資源hive數(shù)據(jù)讀取kafka，后再按原流處理的邏輯恢復(fù)如何處理即可，單單改數(shù)據(jù)源為歷史數(shù)據(jù)填寫的topic。

?需新增kafka寫入文件hive邏輯

?需再新增從hive讀取數(shù)據(jù)寫入文件kafka

?需新增整條鏈路歷史數(shù)據(jù)不對(duì)應(yīng)的topic