Python程序員該如何準備面試？首先，你需要自己做好充分的準備。第一塊:準備學(xué)習(xí)一些基本的網(wǎng)絡(luò)知識和算法。第二塊:扎實學(xué)習(xí)python的基礎(chǔ)知識。第三塊:數(shù)據(jù)庫Mysql，ORACL如何用通俗形象的

Python程序員該如何準備面試？

首先，你需要自己做好充分的準備。

第一塊:準備學(xué)習(xí)一些基本的網(wǎng)絡(luò)知識和算法。

第二塊:扎實學(xué)習(xí)python的基礎(chǔ)知識。

第三塊:數(shù)據(jù)庫Mysql，ORACL

如何用通俗形象的語言解釋下：Spark中的RDD到底是什么意思？

Rdd是spark的靈魂。中文翻譯是一個彈性的分布式數(shù)據(jù)集，一個rdd代表一個可以分區(qū)的只讀數(shù)據(jù)集。rdd中可以有很多分區(qū)，每個分區(qū)都有大量的記錄。

RDD本身是Berkeley博士在寫論文時抽象出來的概念，其本質(zhì)與Hadoop MapReduce處理中輸入輸出的key-value和Flink的dataset沒有本質(zhì)區(qū)別。處理的時候還是用迭代器加載一些數(shù)據(jù)，同時執(zhí)行操作(每個分區(qū)的實現(xiàn)其實就是一個迭代器)。

我個人認為，如果要通俗地解釋RDD，第一步可以簡單地把它想象成一個數(shù)組/鏈表，用迭代器類的東西遍歷，可以是碎片化的，也可以是零散的；第二步，你可以找一些例子，看一些界面文檔。畢竟用列表直接理解還是有優(yōu)勢的。之后，當(dāng)你用例子理解了函數(shù)，就可以進一步閱讀它的原理了。Rdd運算符主要分為兩類，動作和變換。也就是變換和一些運算。

關(guān)于rdd的特點，摘錄一部分知乎 的朋友:

rdd的五個特征:

Dependenci:建立rdd的依賴關(guān)系，主要rdd有寬有窄。具有窄依賴性的RDD可以在同一階段計算。

分區(qū):一個rdd會有幾個分區(qū)，分區(qū)的大小決定了這個rdd的計算粒度，每個rdd分區(qū)的計算都是在單獨的任務(wù)中進行的。

根據(jù) "移動數(shù)據(jù)不如移動計算 "在spark調(diào)度任務(wù)時，首選locations:優(yōu)先將任務(wù)分配給存儲數(shù)據(jù)塊的位置。

compute:spark中的計算都是基于分區(qū)的，compute函數(shù)只復(fù)合迭代器，不保存單次計算的結(jié)果。

Partitioner:只存在于類型(K，V)的rdd中，非類型(K，V)的partitioner的值為None。