pipeline編程模型 為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具?
為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具?只要涉及到數(shù)據(jù)源的數(shù)據(jù)抽取,數(shù)據(jù)計(jì)算,開(kāi)發(fā)處理流程,就是ETL,ETL就是在這三個(gè)階段:抽取抽取,轉(zhuǎn)換轉(zhuǎn)化,加載。從不同的數(shù)據(jù)源提取數(shù)據(jù),按照一定的數(shù)據(jù)處理規(guī)則和轉(zhuǎn)
為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具?
只要涉及到數(shù)據(jù)源的數(shù)據(jù)抽取,數(shù)據(jù)計(jì)算,開(kāi)發(fā)處理流程,就是ETL,ETL就是在這三個(gè)階段:抽取抽取,轉(zhuǎn)換轉(zhuǎn)化,加載。
從不同的數(shù)據(jù)源提取數(shù)據(jù),按照一定的數(shù)據(jù)處理規(guī)則和轉(zhuǎn)換對(duì)數(shù)據(jù)進(jìn)行處理,最后將處理后的數(shù)據(jù)輸出到目標(biāo)數(shù)據(jù)表,目標(biāo)數(shù)據(jù)表可以是文件等。這是裝貨。
更通俗地說(shuō),ETL的過(guò)程和每個(gè)人都是一樣的。;日常烹飪。你需要在菜市場(chǎng)的各個(gè)攤位上買到好菜。買回來(lái)的時(shí)候要挑好,洗干凈,切好一切,最后放鍋里炸熟,端上桌。菜市場(chǎng)的每個(gè)攤位都是數(shù)據(jù)源,熟食是最終的輸出結(jié)果。中間所有的過(guò)程,比如摘菜、洗菜、切菜、做飯,都是轉(zhuǎn)換。
在開(kāi)發(fā)的時(shí)候,大部分時(shí)間會(huì)通過(guò)ETL工具來(lái)實(shí)現(xiàn),比如KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟SQL S
如何評(píng)價(jià)微軟全新的DirectX 12 Ultimate?
前幾天我們?cè)诜治鯴box Series X的技術(shù)細(xì)節(jié)時(shí),三一生活提出這是一款充分利用現(xiàn)有技術(shù)的主機(jī),幾乎可以說(shuō)是將PC上迄今為止的圖形成果與最新的設(shè)計(jì)思路結(jié)合到了極致。而且由于Xbox Series X本身是基于x86硬件架構(gòu)和Windows操作系統(tǒng)的,所以很多新的圖形API和新的硬件調(diào)度技術(shù)有望出現(xiàn)在未來(lái)的桌面Windows 10中。
但即使我們真的沒(méi)有。;我沒(méi)想到微軟會(huì)走得這么快。就在Xbox Series X公布細(xì)節(jié)的幾天后,微軟突然宣布了一個(gè)全新的 "D "IrectX 12終極版標(biāo)準(zhǔn),并宣布這將是統(tǒng)一Xbox和PC體驗(yàn)的最新、最高水平的游戲圖形標(biāo)準(zhǔn)。這意味著,剛剛出現(xiàn)在Xbox Series X中的DXR 1.1光線追蹤、VRS可變著色率、Mesh Shader多線程渲染流水線、SFS采樣反饋流等圖形技術(shù),將很快隨著Windows 10 2004的更新來(lái)到那些搭載RTX顯卡的PC上,并進(jìn)一步成為下一代大量大作的技術(shù)標(biāo)準(zhǔn)。
顯然,微軟為了提高自己平臺(tái)的游戲體驗(yàn),做出了a "大動(dòng)作 "這次。DirectX 12 Ultimate這個(gè)霸氣的名字和它所包含的一系列新功能確實(shí)讓人對(duì)新版Windows 10有了更多的期待。
但是,這樣一來(lái),問(wèn)題就出現(xiàn)了。眾所周知,微軟在Windows Vista時(shí)代推出了DirectX 10,Windows 7推出了DirectX 11,Windows 8推出了DirectX 12。那么,為什么沒(méi)有 當(dāng)Windows 10發(fā)布時(shí),我們沒(méi)有等到DirectX 13,但直到這些年后,我們終于得到了一個(gè) "DirectX 12終極版?
要知道,DirectX曾經(jīng)是顯卡更新?lián)Q代的推動(dòng)力。
要明白這一點(diǎn),首先要明白一件事。是顯卡的硬件功能及其對(duì)應(yīng)的DirectX軟件規(guī)范,是 "先有雞還是先有蛋?"。
PC上第一個(gè)GPU,也是第一個(gè)支持DirectX 7.0的民用顯卡。
追溯歷史不難發(fā)現(xiàn),在DirectX 12之前,歷代顯卡的硬件更新?lián)Q代基本都是由軟件和游戲技術(shù)的更新?lián)Q代帶動(dòng)的。例如,最早的 "GPU“PC歷史上的GeForce 256是微軟首次公布DirectX 7.0規(guī)范,推出硬件TL功能要求后,英偉達(dá)率先做出自適應(yīng)顯卡,一戰(zhàn)成名..
比如DirectX 10時(shí)代,英偉達(dá)首先推出了符合新圖形規(guī)范的GeForce 8800Ultra,而ATI的鐳龍HD2900XT則是 "晚 "很長(zhǎng)一段時(shí)間,所以在市場(chǎng)上是被動(dòng)的。
誰(shuí)能準(zhǔn)確說(shuō)出這張卡的名字和出處?
從這些歷史數(shù)據(jù)中,我們不難看出,在很長(zhǎng)一段時(shí)間里,PC顯卡市場(chǎng)都是微軟 這相當(dāng)于提出了一個(gè) "技術(shù)規(guī)范和標(biāo)準(zhǔn)或者先有性能需求,再開(kāi)發(fā)各大廠商針對(duì)的硬件產(chǎn)品。
從DX9時(shí)始,微軟的腳步慢了下來(lái)。
但是隨著顯卡市場(chǎng)在競(jìng)爭(zhēng)中被淘汰的越來(lái)越多。參與者,隨著NVIDIA和AMD寡頭壟斷的形成。作為操作系統(tǒng)的開(kāi)發(fā)者和DirectX圖形規(guī)范的制定者,微軟不可避免地需要 "保重 "兩大硬件巨頭的需求越來(lái)越多,或者開(kāi)始將N和A的專有技術(shù)納入DirectX規(guī)范。
2003年,NVIDIA推出GeForce FX系列顯卡,有兩個(gè)最大的特點(diǎn)。首先, "吃螃蟹推出了GDDR2顯存,二是在圖形渲染上提供了高速但低精度的16位和低速但高精度的32位工作模式。不過(guò)當(dāng)時(shí)ATI看到了GeForce FX設(shè)計(jì)的不足。他們放棄了高溫高成本的GDDR2顯存,繼續(xù)使用GDDR一代顯存控制器,并創(chuàng)造性地在圖形渲染中使用了折中的24位精度。
顯然,最終,ATI 的設(shè)計(jì)幫助他們?nèi)〉昧司薮蟮某晒?,這也直接促使英偉達(dá)開(kāi)發(fā)了 "大 "最新的GeForce 6000系列采用SLI技術(shù)。但是,很少有人關(guān)注這么重要的一點(diǎn)。由于原來(lái)DirectX 9時(shí)代的NVIDIA和ATI兩款產(chǎn)品在設(shè)計(jì)上差異如此之大,微軟最終不得不實(shí)際上為兩款顯卡推出一款DirectX版本——NVIDIA GeForce FX系列使用DirectX 9.0a,而ATI鐳龍9800系列使用DirectX 9.0B..這是顯卡廠商第一次用自己的技術(shù)在PC平臺(tái)上直接影響DirectX規(guī)范的發(fā)展,它實(shí)際上改變了微軟和顯卡芯片公司的關(guān)系。
ATI鐳龍HD4890,這種卡的第一批貨在很難找到。
正因?yàn)槿绱耍贒irectX 10時(shí)代,統(tǒng)一渲染管道的設(shè)計(jì)顯然更多 "排隊(duì) "與NV s的意圖,所以GeForce 8800系列可以早早登場(chǎng),迅速搶占市場(chǎng)。DirectX 10.1更符合ATI(AMD)的要求,于是鐳龍HD3650、HD3870以及后來(lái)的HD4000系列強(qiáng)勢(shì)反擊,而NVIDIA對(duì)這一代規(guī)范幾乎視而不見(jiàn)。
DX11時(shí)代最流行的是測(cè)量曲面的細(xì)分性能,然而,這里面也有顯卡廠商的利益因素。
顯然,在這一點(diǎn)上,DirectX與其說(shuō)是微軟提出的圖形技術(shù)規(guī)范,其實(shí)是微軟、英偉達(dá)、AMD三方博弈的結(jié)果。也正因?yàn)槿绱耍贒irectX 11和DirectX 12中,我們看到了更多更符合顯卡廠商利益的技術(shù)設(shè)置,比如Tessel,它消耗了大量的顯卡性能,可以完全拉開(kāi)高、中、低端顯卡游戲體驗(yàn)的差距。平移(mosaic,也叫細(xì)分曲面)技術(shù)其實(shí)來(lái)自于DX10時(shí)代ATI的一個(gè)自研項(xiàng)目。比如現(xiàn)在大熱的光線追蹤技術(shù),其實(shí)早在幾年前就出現(xiàn)在一些專業(yè)顯卡中,但游戲領(lǐng)域卻是由NVIDIA以私有API的形式,用自己的RT Core和Tensor Core硬件首先實(shí)現(xiàn),然后被納入DirectX 12的DXR函數(shù)子集,成為微軟 s官方規(guī)格。
在不改名的情況下,DirectX對(duì)現(xiàn)在的玩家更加友好。
那么,這意味著什么呢?首先,DirectX不再是直接刺激顯卡廠商升級(jí)的標(biāo)準(zhǔn),這意味著一方面,DirectX升級(jí)的必要性不像當(dāng)時(shí)那么迫切,也可以讓消費(fèi)者 "感覺(jué)負(fù)擔(dān)得起一定程度上——比如英偉達(dá)的Maxwell、Fermi架構(gòu)、AMD的GCN 1.0~4.0都可以通過(guò)軟件更新支持到DX12,一定程度上增強(qiáng)了消費(fèi)者的粘性。
另一方面,由于DirectX標(biāo)準(zhǔn)的更新速度相對(duì)較慢,對(duì)于游戲開(kāi)發(fā)者來(lái)說(shuō),不再需要花費(fèi)大量的精力去切換新的技術(shù)和標(biāo)準(zhǔn),而是開(kāi)發(fā)出能夠適應(yīng)更多代硬件的作品。同時(shí)通過(guò)高分辨率配置、高級(jí)特效、物理操作、同屏敵人(AI)數(shù)量,不同硬件配置的游戲體驗(yàn)其實(shí)和simply "來(lái)自DX "
你不知道的DirectX版本。;我不知道
同時(shí)必須注意的是,實(shí)際上從Windows 8到Windows 10的這幾年間,微軟從來(lái)沒(méi)有堅(jiān)持過(guò)現(xiàn)有的Direct X標(biāo)準(zhǔn)而不做任何改變。事實(shí)上,在 "高級(jí) "知名顯卡信息軟件GPU-Z的頁(yè)面,我們可以看到目前顯卡支持的DirectX標(biāo)準(zhǔn)的詳細(xì)信息。這里,一些更新的DX版本號(hào),許多人不 不知道最近幾年有沒(méi)有上市。
可以在微軟開(kāi)發(fā)者網(wǎng)站上看到DX11~DX11.4的功能變化。
比如在Windows 8.1推出的時(shí)候,微軟其實(shí)是把DirectX 11升級(jí)到了11.1版本,增加了FMA(乘加運(yùn)算)、半精度運(yùn)算以及大量增強(qiáng)的渲染效率等新功能。在WIndows 10中,DirectX 11已經(jīng)更新了11.3、11.4和11.5次,Direct 12的一些功能已經(jīng)引入到 "舊的圖形卡和只支持DX11來(lái)提高它們的運(yùn)行效率。
來(lái)自微軟在Github上的官方維基頁(yè)面。
例如,贏到目前為止,dows 10已經(jīng)發(fā)布了至少十一個(gè)更新版本(從最早的官方TH1版本到最新的20H2 beta版本)。在這個(gè)過(guò)程中,雖然DirectX 12在版本號(hào)的級(jí)別上沒(méi)有變化,但是微軟實(shí)際上已經(jīng)更新了DX12 s著色器模式渲染引擎5倍,頻率和更新范圍甚至超過(guò)DirectX 11時(shí)代。DXR光線追蹤等功能其實(shí)就是在這個(gè)過(guò)程中加入到DX12規(guī)范中的。
DXR 1.1版光線追蹤,是DirectX12 Ultimate的重要組成部分之一。
也就是說(shuō),事實(shí)上,近年來(lái),微軟一直在進(jìn)行持續(xù)的 "小修小補(bǔ)在DirectX 12上。為什么它沒(méi)有 t發(fā)射 "DX13 "在很大程度上在自身技術(shù)上的改變并不是特別徹底,但自然也考慮到了對(duì)老卡的兼容性和DirectX目前的功能定位。事實(shí)上,最新的DirectX 12 ULtimate也完全兼容NVIDIA s RTX顯卡——只要更新系統(tǒng)和驅(qū)動(dòng),光追用戶就能體驗(yàn)到免費(fèi)的性能提升。不得不說(shuō),微軟真的做了一件好事。
畢竟,由DirectX版本驅(qū)動(dòng)的顯卡更新?lián)Q代的時(shí)代已經(jīng)結(jié)束了,現(xiàn)在微軟似乎更關(guān)心服務(wù)現(xiàn)有玩家,而不是讓大家購(gòu)買新的硬件。