spark是怎么區(qū)分transformer和action算子的？在我看來，spark編程中的action操作符充當觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。

spark是怎么區(qū)分transformer和action算子的？

在我看來，spark編程中的action操作符充當觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。只有當一個動作操作符被執(zhí)行時，所有先前的轉(zhuǎn)換操作符才會被執(zhí)行。下面的代碼中列出了常見的操作操作符：（Java版本）包星火研究.core導入java.util.Arrays數(shù)組導入java.util.List導入java.util.Mapimport文件org.apache.spark網(wǎng)站.SparkConf導入org.apache.spark網(wǎng)站. api.java.javapairdd文件導入org.apache.spark網(wǎng)站. api.java.JavaRDD文件導入org.apache.spark網(wǎng)站. api.java.JavaSparkContext導入org.apache.spark網(wǎng)站. api.java.function函數(shù).函數(shù)導入org.apache.spark網(wǎng)站. api.java.function函數(shù)

spark parquet只能用于spark sql么？

1）過去整個行業(yè)大數(shù)據(jù)分析技術(shù)棧的流水線一般分為以下兩種方式：a）數(shù)據(jù)源-> HDFS-> Mr/hive/spark（相當于ETL）-> HDFS parquet-> spark SQL/Impala-> Resultservice（可以放入dB或作為數(shù)據(jù)使用）通過JDBC/ODBC提供服務）；b）數(shù)據(jù)源->實時更新數(shù)據(jù)到HBase/DB->導出到parquet-> spark SQL/impala-> Resultservice（可以放在DB中，也可以通過JDBC/ODBC作為數(shù)據(jù)服務使用）；上面提到的第二種方式完全可以被Kafka spark streaming spark SQL所取代（強烈建議使用parquet在內(nèi)部存儲數(shù)據(jù)）。2） 預期方式：datasource-> Kafka-> spark streaming-> PARQ