最近在學(xué)習(xí)pyspark，有入門指南嗎？答：本文邀請(qǐng)我payton來回答，為我獻(xiàn)上份pyspark的入門指南，詳細(xì)介紹pyspark與tesla、洛子交互操作~一、IDEX調(diào)試目前在IDEX上可以不調(diào)

最近在學(xué)習(xí)pyspark，有入門指南嗎？

答：本文邀請(qǐng)我payton來回答，為我獻(xiàn)上份pyspark的入門指南，詳細(xì)介紹pyspark與tesla、洛子交互操作~

一、IDEX調(diào)試目前在IDEX上可以不調(diào)試pyspark程序，在個(gè)人區(qū)-我的項(xiàng)目空白文檔一個(gè)文件夾，如pyspark，右鍵點(diǎn)擊“再新增文件”，選擇ipynb創(chuàng)建文件。

就ok啦，這一次這個(gè)可以旅途快樂的現(xiàn)場(chǎng)調(diào)試了

二、pysparkftp訪問TDWTDW接口信息可可以參考

這里貼出一個(gè)讀取文件TDW它表示例：

三、在TESLA上重新部署任務(wù)這里附上一個(gè)蟲洞完整示例：

1、在tesla上啟動(dòng)任務(wù)需先配置資源

2、在再輸入組件里選擇類型一個(gè)蟲洞依賴感任務(wù)

3、配置蟲洞依賴性太強(qiáng)

這里應(yīng)注意依賴感周期{YYYYMMDD}默認(rèn)是T-1的，跟TDW的時(shí)間同一。

4、配置pyspark組件

在組件-機(jī)器學(xué)習(xí)里拉入一個(gè)PySpark組件

1）配置如何組件參數(shù)

上傳在idex上設(shè)置參數(shù)的腳本，并配置如何算法參數(shù)

2）電腦配置資源參數(shù)

3）配置特殊參數(shù)

4）再添加調(diào)度時(shí)間

假如是需要取消后online資源調(diào)度，再點(diǎn)擊已取消即可

5、快速對(duì)接洛子配置蟲洞任務(wù)

tesla任務(wù)配置可以了了之后，那么還是需要一個(gè)蟲洞任務(wù)主要是用于確認(rèn)該tesla任務(wù)有無結(jié)束。

在洛子上新建一個(gè)蟲洞任務(wù)：

這里需要注意什么目標(biāo)類型中,選擇節(jié)點(diǎn)，檢查ID即tesla任務(wù)id：

開始時(shí)間和結(jié)束時(shí)間均需精確到秒（${YYYYMMDD}000000）

行啦，到這里整個(gè)tesla蟲洞流程就搞定了。

怎么利用pandas做數(shù)據(jù)分析？

pandas是python中非常強(qiáng)橫無比的數(shù)據(jù)分析庫，下面我來說說看我的看法，供大家可以參考做個(gè)參考：

的兩大函數(shù)（Series和DataFrame函數(shù)，series做序列處理，dataframe做表格方面處理）

2.數(shù)據(jù)表信息打開系統(tǒng)（如：打開系統(tǒng)維度；查找基本信息；data.dtype查找列的類型）

做數(shù)據(jù)清洗（如：()確定是否回頭有時(shí)間值；(value0)填充空值等）

在這里不全都詳細(xì)地講解，想深入了解的朋友，請(qǐng)看我的“pandas知識(shí)大總結(jié)”的文章，文章連接地址在文末。

做數(shù)據(jù)預(yù)處理

做數(shù)據(jù)提純工作

做數(shù)據(jù)匯總

做數(shù)據(jù)統(tǒng)計(jì)

無法讀取csv和Excel表格的信息

寫入信息進(jìn)csv和Excel表格中。

詳細(xì)點(diǎn)的pandas具體詳細(xì)用法，請(qǐng)看小編的文章，文章鏈接是：

以上是我的看法，期望對(duì)你有幫助。