pyspark用dataframe還是rdd好？數(shù)據(jù)幀比RDD快。對于結(jié)構(gòu)化數(shù)據(jù)，用dataframe編寫的代碼更簡潔。對于非結(jié)構(gòu)化語音數(shù)據(jù)，建議使用RDD將其處理為結(jié)構(gòu)化數(shù)據(jù)，然后轉(zhuǎn)換為數(shù)據(jù)幀。Sp

pyspark用dataframe還是rdd好？

數(shù)據(jù)幀比RDD快。對于結(jié)構(gòu)化數(shù)據(jù)，用dataframe編寫的代碼更簡潔。

對于非結(jié)構(gòu)化語音數(shù)據(jù)，建議使用RDD將其處理為結(jié)構(gòu)化數(shù)據(jù)，然后轉(zhuǎn)換為數(shù)據(jù)幀。

Spark RDD，DataFrame和DataSet的區(qū)別？

RDD：彈性分布式數(shù)據(jù)集（RDD），是火花.rdddataframe相當(dāng)于sparksql中的關(guān)系表，可以使用分布式集群中的變量函數(shù)創(chuàng)建，Sqlcontextdataframe更像一個關(guān)系數(shù)據(jù)表。它是spark特有的數(shù)據(jù)格式。此格式的數(shù)據(jù)可以使用sqlcontext中的函數(shù)

RDD:AResilientDistributedDataset（RDD），thebasicabstractioninSpark.rdd文件Adata框架是一個分布式數(shù)據(jù)集，數(shù)據(jù)分布在分布式集群的每臺機器上。Adata框架相當(dāng)于sparksql中的關(guān)系表，可以使用變量函數(shù)在SQL上下文中創(chuàng)建數(shù)據(jù)框架更像一個關(guān)系數(shù)據(jù)表，這是spark的一種獨特的數(shù)據(jù)格式，sqlcontext中的函數(shù)可以用于不同格式的數(shù)據(jù)