如何使用scala開發(fā)spark作業(yè)，并訪問hive？1.為了讓Spark連接到hive的原始數(shù)據(jù)倉庫，我們需要將Hive中的hive-site.xml文件復(fù)制到Spark的conf目錄下，這樣就可以

如何使用scala開發(fā)spark作業(yè)，并訪問hive？

1.為了讓Spark連接到hive的原始數(shù)據(jù)倉庫，我們需要將Hive中的hive-site.xml文件復(fù)制到Spark的conf目錄下，這樣就可以通過這個(gè)配置文件找到Hive的元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)。

因?yàn)槲业腟park是自動(dòng)安裝部署在這里的，所以經(jīng)過摸索，我需要知道CDH把hive-site.xml放在哪里。這個(gè)文件的默認(rèn)路徑是:/etc/hive/conf。

同樣，spark的conf也在/etc/spark/conf中。

此時(shí)，如上所述，只需將相應(yīng)的hive-site.xml復(fù)制到spark/conf目錄。

如果Hive的元數(shù)據(jù)存儲(chǔ)在Mysql中，我們還需要準(zhǔn)備Mysql相關(guān)的驅(qū)動(dòng)，比如Mysql-connector-Java-5 . 1 . 22-bin . jar。

spark的任務(wù)支持的語言？

你說用什么語言寫spark程序？Spark現(xiàn)在支持scala、java、python和r。

大數(shù)據(jù)怎么入門學(xué)習(xí)好？

要入門大數(shù)據(jù)，首先要學(xué)會(huì)javas

學(xué)習(xí)大數(shù)據(jù)開發(fā)，需要掌握哪些開發(fā)語言？

大數(shù)據(jù)的開發(fā)需要Java、Python、Scala、R等編程語言。Hadoop平臺(tái)主要用Java和Python，Spark平臺(tái)用Scala。

大數(shù)據(jù)無疑是近年來非?；馃岬膶I(yè)，我們?cè)谏钪兄饾u感受到大數(shù)據(jù)帶來的好處！學(xué)習(xí)大數(shù)據(jù)也是許多人的意圖，但作為初學(xué)者，你不 不需要學(xué)習(xí)太多語言JAVA和scale，可以做一些大數(shù)據(jù)開發(fā)工作。以后要想更好的發(fā)展，就要學(xué)習(xí)其他語言都配過的知識(shí)！

下圖是大數(shù)據(jù)生態(tài)。

如果需要先學(xué)會(huì)所有的部分，估計(jì)花費(fèi)的時(shí)間會(huì)成倍增長(zhǎng)。事實(shí)上，JAVA和scale并不 不需要深入學(xué)習(xí)，只要能懂一些簡(jiǎn)單的開發(fā)，懂代碼就行。主要目的是學(xué)習(xí)大數(shù)據(jù)開發(fā)，以及don 不要本末倒置！

1、JavaJava是要求最高的編程語言之一。Java與大數(shù)據(jù)密切相關(guān)。大數(shù)據(jù)框架的編寫支持多種開發(fā)語言。目前流行的大數(shù)據(jù)Hadoop框架，大部分是用開源的Java語言編寫的。

Java是學(xué)習(xí)大數(shù)據(jù)的編程基礎(chǔ)，基于Java技術(shù)。掌握了Java技術(shù)之后，學(xué)習(xí)大數(shù)據(jù)的相關(guān)技術(shù)就會(huì)容易很多。

是一種現(xiàn)代的多范例編程語言，最初是為了集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性而設(shè)計(jì)的。與Java相比，Scala 的語法更容易掌握。Scala運(yùn)行在Java虛擬機(jī)上，可以直接調(diào)用Java類庫。

大數(shù)據(jù)Spark是用Scala語言實(shí)現(xiàn)的，使用Scala作為應(yīng)用框架，可以和Scala緊密結(jié)合，其中Scala可以像操作本地集合對(duì)象一樣輕松操作分布式數(shù)據(jù)集。

嘉米谷大數(shù)據(jù)開發(fā)培訓(xùn)9月0基礎(chǔ)班，預(yù)報(bào)名。...

相關(guān):

大數(shù)據(jù)開發(fā)零基礎(chǔ)需要學(xué)習(xí)什么？(1)Java，大數(shù)據(jù)基礎(chǔ)

Java，大數(shù)據(jù)基礎(chǔ)，MySQL數(shù)據(jù)庫分析，分布式計(jì)算框架，前端技術(shù)，Hadoop等等。如果你想學(xué)習(xí)，建議你找個(gè)學(xué)校好好學(xué)習(xí)。自學(xué)太難了。