最近在學(xué)習(xí)pyspark，有入門指南嗎？答：本文邀請我payton來回答，為我獻(xiàn)上份pyspark的入門指南，詳細(xì)介紹pyspark與tesla、洛子交互操作~一、IDEX調(diào)試目前在IDEX上可以不調(diào)

最近在學(xué)習(xí)pyspark，有入門指南嗎？

答：本文邀請我payton來回答，為我獻(xiàn)上份pyspark的入門指南，詳細(xì)介紹pyspark與tesla、洛子交互操作~

一、IDEX調(diào)試目前在IDEX上可以不調(diào)試pyspark程序，在個人區(qū)-我的項目空白文檔一個文件夾，如pyspark，右鍵點擊“再新增文件”，選擇ipynb創(chuàng)建文件。

就ok啦，這一次這個可以旅途快樂的現(xiàn)場調(diào)試了

二、pysparkftp訪問TDWTDW接口信息可可以參考

這里貼出一個讀取文件TDW它表示例：

三、在TESLA上重新部署任務(wù)這里附上一個蟲洞完整示例：

1、在tesla上啟動任務(wù)需先配置資源

2、在再輸入組件里選擇類型一個蟲洞依賴感任務(wù)

3、配置蟲洞依賴性太強

這里應(yīng)注意依賴感周期{YYYYMMDD}默認(rèn)是T-1的，跟TDW的時間同一。

4、配置pyspark組件

在組件-機(jī)器學(xué)習(xí)里拉入一個PySpark組件

1）配置如何組件參數(shù)

上傳在idex上設(shè)置參數(shù)的腳本，并配置如何算法參數(shù)

2）電腦配置資源參數(shù)

3）配置特殊參數(shù)

4）再添加調(diào)度時間

假如是需要取消后online資源調(diào)度，再點擊已取消即可

5、快速對接洛子配置蟲洞任務(wù)

tesla任務(wù)配置可以了了之后，那么還是需要一個蟲洞任務(wù)主要是用于確認(rèn)該tesla任務(wù)有無結(jié)束。

在洛子上新建一個蟲洞任務(wù)：

這里需要注意什么目標(biāo)類型中,選擇節(jié)點，檢查ID即tesla任務(wù)id：

開始時間和結(jié)束時間均需精確到秒（${YYYYMMDD}000000）

行啦，到這里整個tesla蟲洞流程就搞定了。

怎么利用pandas做數(shù)據(jù)分析？

pandas是python中非常強橫無比的數(shù)據(jù)分析庫，下面我來說說看我的看法，供大家可以參考做個參考：

的兩大函數(shù)（Series和DataFrame函數(shù)，series做序列處理，dataframe做表格方面處理）

2.數(shù)據(jù)表信息打開系統(tǒng)（如：打開系統(tǒng)維度；查找基本信息；data.dtype查找列的類型）

做數(shù)據(jù)清洗（如：()確定是否回頭有時間值；(value0)填充空值等）

在這里不全都詳細(xì)地講解，想深入了解的朋友，請看我的“pandas知識大總結(jié)”的文章，文章連接地址在文末。

做數(shù)據(jù)預(yù)處理

做數(shù)據(jù)提純工作

做數(shù)據(jù)匯總

做數(shù)據(jù)統(tǒng)計

無法讀取csv和Excel表格的信息

寫入信息進(jìn)csv和Excel表格中。

詳細(xì)點的pandas具體詳細(xì)用法，請看小編的文章，文章鏈接是：

以上是我的看法，期望對你有幫助。