sqoop導(dǎo)入數(shù)據(jù)到hive 怎么用sqoop把oracle的數(shù)據(jù)傳輸?shù)絟base中?
怎么用sqoop把oracle的數(shù)據(jù)傳輸?shù)絟base中?除了將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入HDFS和hive之外,sqoop還可以將數(shù)據(jù)導(dǎo)入HBase表。--HBase table:通過(guò)指定--HBase t
怎么用sqoop把oracle的數(shù)據(jù)傳輸?shù)絟base中?
除了將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入HDFS和hive之外,sqoop還可以將數(shù)據(jù)導(dǎo)入HBase表。--HBase table:通過(guò)指定--HBase table參數(shù)值,它指示將數(shù)據(jù)導(dǎo)入HBase表,而不是HDFS上的目錄。輸入表中的每一行都轉(zhuǎn)換為HBase put操作的輸出表中的一行。--HBase row key:可以使用--HBase row key參數(shù)手動(dòng)指定行鍵。默認(rèn)情況下,sqoop使用split By列作為HBase rowkey列。如果未指定按值拆分,它將嘗試標(biāo)識(shí)關(guān)系表的關(guān)鍵字。如果源表是復(fù)合關(guān)鍵字,-HBase row key參數(shù)后面的值是以逗號(hào)分隔的復(fù)合關(guān)鍵字屬性列表。在這種情況下,HBase的行鍵是通過(guò)合并復(fù)合關(guān)鍵字屬性的值來(lái)生成的,每個(gè)值用下劃線(xiàn)分隔。
學(xué)習(xí)大數(shù)據(jù)難嗎?
學(xué)習(xí)大數(shù)據(jù)很難,但如果你能有一個(gè)系統(tǒng)的學(xué)習(xí)計(jì)劃,開(kāi)始學(xué)習(xí)大數(shù)據(jù)就不那么難了。為了開(kāi)始大數(shù)據(jù)的學(xué)習(xí),你需要準(zhǔn)備以下幾個(gè)方面:
大數(shù)據(jù)的基礎(chǔ)知識(shí)包括三個(gè)部分,即計(jì)算機(jī)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)。如果你是這三個(gè)專(zhuān)業(yè)的畢業(yè)生,就可以輕松進(jìn)入大數(shù)據(jù)領(lǐng)域,有更多的工作(數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和數(shù)據(jù)分析)呈現(xiàn)等。如果你是非相關(guān)專(zhuān)業(yè),你應(yīng)該從基本的計(jì)算機(jī)知識(shí)開(kāi)始。例如,您應(yīng)該精通使用Linux系列操作系統(tǒng)(CentOS、Ubuntu等),因?yàn)榇蠖鄶?shù)大數(shù)據(jù)平臺(tái)都構(gòu)建在Linux上。
目前Hadoop和spark是比較常見(jiàn)的大數(shù)據(jù)平臺(tái),很多商業(yè)大數(shù)據(jù)平臺(tái)都是建立在Hadoop之上的,因此掌握Hadoop和spark平臺(tái)的建設(shè)是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)。Hadoop平臺(tái)對(duì)計(jì)算機(jī)硬件要求不高,個(gè)人電腦可以完成構(gòu)建,因此更適合初學(xué)者。
無(wú)論您從事大數(shù)據(jù)的哪個(gè)方面,都必須掌握一門(mén)編程語(yǔ)言。比如Java、python、Scala、R等語(yǔ)言在大數(shù)據(jù)領(lǐng)域的應(yīng)用非常廣泛。
開(kāi)始使用大數(shù)據(jù)需要一段時(shí)間。畢竟,大數(shù)據(jù)涉及的內(nèi)容很多,也很復(fù)雜。根據(jù)歷史經(jīng)驗(yàn),從大數(shù)據(jù)入手,最好的辦法就是利用大數(shù)據(jù)促進(jìn)學(xué)習(xí)。邊學(xué)邊用可以促進(jìn)大數(shù)據(jù)的學(xué)習(xí),使學(xué)習(xí)逐步深化。因此,建議學(xué)習(xí)大數(shù)據(jù)也要因勢(shì)利導(dǎo)。