python終端dataset怎么使用 沒(méi)有計(jì)算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識(shí)?
沒(méi)有計(jì)算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識(shí)?學(xué)習(xí)程序開(kāi)發(fā)是可以多瀏覽一些開(kāi)源軟件平臺(tái)上面的項(xiàng)目,博客,問(wèn)答等。比較著名的平臺(tái)如github開(kāi)源,stackoverflow等。在github上搜big dat
沒(méi)有計(jì)算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識(shí)?
學(xué)習(xí)程序開(kāi)發(fā)是可以多瀏覽一些開(kāi)源軟件平臺(tái)上面的項(xiàng)目,博客,問(wèn)答等。比較著名的平臺(tái)如github開(kāi)源,stackoverflow等。
在github上搜big data,變會(huì)再次出現(xiàn)相關(guān)的項(xiàng)目,有一個(gè)大數(shù)據(jù)入門指南的項(xiàng)目挺還好的,你是可以參照著學(xué)。地址:,如果ftp訪問(wèn)被取消,可以不點(diǎn)zan,評(píng)論。
萬(wàn)分感謝是內(nèi)容摘自項(xiàng)目中的圖解,和章節(jié)導(dǎo)航。
附:項(xiàng)目的查找知識(shí)點(diǎn)不勝感激
前言
大數(shù)據(jù)學(xué)習(xí)路線
大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖
大數(shù)據(jù)常用軟件安裝指南
一、Hadoop
分布式文件存儲(chǔ)系統(tǒng)——HDFS
分布式計(jì)算框架——MapReduce
集群資源管理器——YARN
Hadoop單機(jī)偽集群環(huán)境搭建
Hadoop集群環(huán)境搭建
HDFS正確Shell命令
HDFSJavaAPI的使用
實(shí)現(xiàn)Zookeeper堆建Hadoop高可用集群
二、Hive
Hive簡(jiǎn)介及核心概念
Linux環(huán)境下Hive的安裝部署
HiveCLI和Beeline命令行的基本使用
Hive廣泛DDL不能操作
Hive分區(qū)表和分桶表
Hive視圖和索引
Hive具體用法DML你的操作
Hive數(shù)據(jù)查詢?cè)敿?xì)解析
三、Spark
SparkCore:
Spark簡(jiǎn)介
Spark開(kāi)發(fā)環(huán)境搭建
彈性式數(shù)據(jù)集RDD
RDD具體方法算子請(qǐng)賜教
Spark運(yùn)行模式與假期作業(yè)并提交
Spark累加器與廣播變量
基于Zookeeper壘建Spark高可用集群
SparkSQL:
DateFrame和DataSet
StructuredAPI的都差不多使用
SparkSQL外部數(shù)據(jù)源
Spark SQL正確聚合函數(shù)
SparkSQLJOIN能操作
SparkStreaming:
SparkStreaming簡(jiǎn)介
SparkStreaming基本操作
Spark Streaming全部整合Flume
SparkStreaming整合Kafka
四、Storm
Storm和流去處理簡(jiǎn)介
Storm核心概念求高人
Storm單機(jī)環(huán)境搭建
Storm集群環(huán)境搭建
Storm編程模型求答
Storm項(xiàng)目三種打包對(duì)比分析
Storm集成主板Redis求高人
Storm集成顯卡HDFS/HBase
Storm集成顯卡Kafka
五、Flink
Flink核心概念綜述
Flink開(kāi)發(fā)環(huán)境搭建
FlinkDataSource
FlinkDataTransformation
FlinkDataSink
Flink窗口模型
Flink狀態(tài)管理與檢查點(diǎn)機(jī)制
FlinkStandalone集群部署
六、HBase
Hbase簡(jiǎn)介
HBase系統(tǒng)架構(gòu)及數(shù)據(jù)結(jié)構(gòu)
HBase基本上環(huán)境搭建(Standalone/pseudo-centralizedmode)
HBase集群環(huán)境搭建
HBase常用Shell命令
HBaseJavaAPI
HBase過(guò)濾器詳細(xì)解析
HBase協(xié)處理器請(qǐng)賜教
HBase容災(zāi)與備份
HBase的SQL中間層——Phoenix
Spring/Spring Boot整合起來(lái)Mybatis Phoenix
七、Kafka
Kafka簡(jiǎn)介
基于條件Zookeeper壘建Kafka高可用集群
Kafka生產(chǎn)者求高人
Kafka消費(fèi)者詳細(xì)解析
進(jìn)入到理解Kafka副本機(jī)制
八、Zookeeper
Zookeeper簡(jiǎn)介及核心概念
Zookeeper單機(jī)環(huán)境和集群環(huán)境搭建
Zookeeper具體方法Shell命令
ZookeeperJava客戶端——ApacheCurator
ZookeeperACL權(quán)限控制
九、Flume
Flume簡(jiǎn)介及基本是在用
Linux環(huán)境下Flume的安裝部署
Flume整合Kafka
十、Sqoop
Sqoop簡(jiǎn)介與安裝
Sqoop的基本使用
十一、Azkaban
Azkaban簡(jiǎn)介
Azkaban3.x編譯及部署
AzkabanFlow1.0的使用
AzkabanFlow2.0的使用
十二、Scala
Scala簡(jiǎn)介及開(kāi)發(fā)環(huán)境配置
基本是數(shù)據(jù)類型和運(yùn)算符
流程控制語(yǔ)句
數(shù)組——Array
集合類型綜述
常用集合類型之——List Set
廣泛真包含于類型之——MapTuple
類和對(duì)象
繼承和特質(zhì)
函數(shù)閉包柯里化
模式不兼容
類型參數(shù)
隱式轉(zhuǎn)換和隱式參數(shù)
十三、二級(jí)內(nèi)容
大數(shù)據(jù)應(yīng)用具體方法打包
后記
資料分享與開(kāi)發(fā)工具推薦推薦
如何在jupyter中導(dǎo)入excel?
1、在jupyter的首頁(yè)點(diǎn)擊“Upload”選項(xiàng),你選Excel文件,接著然后點(diǎn)擊上傳再試一下導(dǎo)入到。
此方法導(dǎo)入是有大小限制的,這個(gè)可以就將Excel文件圖片文件夾到Jupyternotebook目錄下以免大小限制。
2、加載Excel數(shù)據(jù)的方法:
新建項(xiàng)python3,輸入真確代碼即可讀取。