sparkrdd5大特性 為什么Spark要用Scala實現(xiàn)?
為什么Spark要用Scala實現(xiàn)?1. 斯帕克和斯卡拉真是天作之合。RDD的許多思想都與Scala類似,如map、filter等高階算子與Scala的概念表完全相同。用很短的代碼,可以實現(xiàn)多行Jav
為什么Spark要用Scala實現(xiàn)?
1. 斯帕克和斯卡拉真是天作之合。RDD的許多思想都與Scala類似,如map、filter等高階算子與Scala的概念表完全相同。用很短的
代碼,可以實現(xiàn)多行Java函數(shù);類似于FP中的不可變和惰性計算,RDD可以用分布式內(nèi)存對象實現(xiàn),同時可以實現(xiàn)流水線。Scala善于利用例如,設計的初衷包括對JVM的支持,因此可以很好地借鑒Java的生態(tài)功能;像spark,很多東西不是自己寫的,但是可以直接借鑒,比如直接在yarn、mesos、EC2中部署,使用HDFS、S3,借用配置單元的SQL解析部分;
3。阿克卡也便于發(fā)展高效的網(wǎng)絡通信。