Spark RDD，DataFrame和DataSet的區(qū)別？RDD：一個(gè)有彈性的分布式數(shù)據(jù)集（RDD），是火花.rdddataframe相當(dāng)于sparksql中的關(guān)系表，可以使用分布式集群中的變量函

Spark RDD，DataFrame和DataSet的區(qū)別？

RDD：一個(gè)有彈性的分布式數(shù)據(jù)集（RDD），是火花.rdddataframe相當(dāng)于sparksql中的關(guān)系表，可以使用分布式集群中的變量函數(shù)創(chuàng)建，Sqlcontextdataframe更像一個(gè)關(guān)系數(shù)據(jù)表。它是spark特有的數(shù)據(jù)格式。這種格式的數(shù)據(jù)可以使用sqlcontext中的函數(shù)

dataframe比RDD快。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，用dataframe編寫的代碼更簡(jiǎn)潔。

對(duì)于非結(jié)構(gòu)化語音數(shù)據(jù)，建議使用RDD將其處理為結(jié)構(gòu)化數(shù)據(jù)，然后轉(zhuǎn)換為數(shù)據(jù)幀。