mysql作為數(shù)據(jù)源可否直接用spark處理？謝謝。Spark通過JDBC從RDB查詢數(shù)據(jù)源。不過，Spark對JDBC的支持也是一個(gè)漸進(jìn)的演進(jìn)過程，關(guān)鍵是1.3版的引入，也就是數(shù)據(jù)幀。在1.3之前，

mysql作為數(shù)據(jù)源可否直接用spark處理？

謝謝。Spark通過JDBC從RDB查詢數(shù)據(jù)源。不過，Spark對JDBC的支持也是一個(gè)漸進(jìn)的演進(jìn)過程，關(guān)鍵是1.3版的引入，也就是數(shù)據(jù)幀。在1.3之前，spark使用JDBCRDD處理對JDBC的查詢。它實(shí)現(xiàn)了標(biāo)準(zhǔn)的RDD接口，如分區(qū)和計(jì)算。但對很多用戶來說太復(fù)雜了。從1.3開始，您可以直接用DF接口做同樣的事情。例如，下面的代碼可以完成一個(gè)RDB表的查詢

如您所見，無論數(shù)據(jù)源（hive、parquet，甚至NoSQL）的數(shù)據(jù)來自何處，在引入數(shù)據(jù)幀后，其代碼都非常相似，結(jié)果就是數(shù)據(jù)幀，您可以盡可能地將它們混合在一起。至于dataframe如何支持多個(gè)數(shù)據(jù)源以及如何優(yōu)化它們，我將再次討論源代碼。