sql數(shù)據庫怎么創(chuàng)建表 sparksql怎么把df注冊成表?
sparksql怎么把df注冊成表?在spark SQL中創(chuàng)建dataframe,開發(fā)人員可以輕松地將各種內部和外部獨立和分布式數(shù)據轉換為dataframe。下面的Python示例代碼充分反映了spa
sparksql怎么把df注冊成表?
在spark SQL中創(chuàng)建dataframe,開發(fā)人員可以輕松地將各種內部和外部獨立和分布式數(shù)據轉換為dataframe。下面的Python示例代碼充分反映了spark SQL 1.3.0中dataframe數(shù)據源的多樣性和簡單性:#construct dataframeusers from users table in hive=sqlContext.table表(“users”)加載S3上的JSON文件日志=sqlContext.load文件(“s3n://path/to/數(shù)據.json", “JSON”)#加載拼花文件單擊HDFS=sqlContext.load文件(" hdfs://path/to/data.parquet“,”parquet“)#通過JDBC訪問MySQL注釋=sqlContext.jdbc文件(" jdbc:mysql://localhost/comments“,“用戶)”)#=sparkContext.text文件(" 文章.txt“”.flatMap(λ線:行。拆分()).map(lambda word:(word,1)).reduceByKey(lambda a,b:a b)字數(shù)=sqlContext.createDataFrame(RDD,[“word”,“count”])將本地數(shù)據容器轉換為dataframedata=[(“Alice”,21),(“Bob”,24)]人=sqlContext.createDataFrame(數(shù)據,[“姓名”,“年齡”])#=sqlContext.createDataFrame(潘達斯夫)