沒有計算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識？學(xué)習(xí)程序開發(fā)是可以多瀏覽一些開源平臺上面的項目，博客，問答等。比較好著名的平臺如stackoverflow,stackoverflow等。在github上收索bi

沒有計算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識？

學(xué)習(xí)程序開發(fā)是可以多瀏覽一些開源平臺上面的項目，博客，問答等。比較好著名的平臺如stackoverflow,stackoverflow等。

在github上收索big data,都會出現(xiàn)相關(guān)的項目，有一個大數(shù)據(jù)入門指南的項目挺不錯的，你可以不參照著去學(xué)習(xí)。地址：，如果不是ftp訪問被限制，可以點(diǎn)贊，評論。

萬分感謝是本文摘自項目中的圖解，和章節(jié)導(dǎo)航。

附：項目的具體知識點(diǎn)追加

前言

大數(shù)據(jù)學(xué)習(xí)路線

大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖

大數(shù)據(jù)常用軟件安裝指南

一、Hadoop

分布式文件存儲系統(tǒng)——HDFS

分布式計算框架——MapReduce

集群資源管理器——YARN

Hadoop單機(jī)偽集群環(huán)境搭建

Hadoop集群環(huán)境搭建

HDFS具體用法Shell命令

HDFSJavaAPI的使用

基于Zookeeper堆建Hadoop高可用集群

二、Hive

Hive簡介及核心概念

Linux環(huán)境下Hive的安裝部署

HiveCLI和Beeline命令行的基本都使用

Hive具體用法DDL你的操作

Hive分區(qū)表和分桶表

Hive視圖和索引

Hive具體方法DML你的操作

Hive數(shù)據(jù)查詢詳細(xì)解析

三、Spark

SparkCore:

Spark簡介

Spark開發(fā)環(huán)境搭建

彈性式數(shù)據(jù)集RDD

RDD具體用法算子求答

Spark運(yùn)行模式與作業(yè)并提交

Spark累加器與廣播變量

基于組件Zookeeper壘建Spark高可用集群

SparkSQL:

DateFrame和DataSet

StructuredAPI的基本使用

SparkSQL外部數(shù)據(jù)源

Spark SQL具體用法聚合函數(shù)

SparkSQLJOIN不能操作

SparkStreaming：

SparkStreaming簡介

SparkStreaming基本操作

Spark Streaming整合Flume

SparkStreaming整合起來Kafka

四、Storm

Storm和流如何處理簡介

Storm核心概念詳解

Storm單機(jī)環(huán)境搭建

Storm集群環(huán)境搭建

Storm編程模型求答

Storm項目三種打包對比分析

Storm集成顯卡Redis詳解

Storm集成HDFS/HBase

Storm集成主板Kafka

五、Flink

Flink核心概念綜述

Flink開發(fā)環(huán)境搭建

FlinkDataSource

FlinkDataTransformation

FlinkDataSink

Flink窗口模型

Flink狀態(tài)管理與檢查點(diǎn)機(jī)制

FlinkStandalone集群作戰(zhàn)部署

六、HBase

Hbase簡介

HBase系統(tǒng)架構(gòu)及數(shù)據(jù)結(jié)構(gòu)

HBase都差不多環(huán)境搭建(Standalone/pseudo-structuredmode)

HBase集群環(huán)境搭建

HBase廣泛Shell命令

HBaseJavaAPI

HBase過濾器求答

HBase協(xié)處理器求答

HBase容災(zāi)與備份

HBase的SQL中間層——Phoenix

Spring/Spring Boot整合起來Mybatis Phoenix

七、Kafka

Kafka簡介

實現(xiàn)Zookeeper搭建Kafka高可用集群

Kafka生產(chǎn)者詳細(xì)解析

Kafka消費(fèi)者求答

探索再理解Kafka副本機(jī)制

八、Zookeeper

Zookeeper簡介及核心概念

Zookeeper單機(jī)環(huán)境和集群環(huán)境搭建

Zookeeper正確Shell命令

ZookeeperJava客戶端——ApacheCurator

ZookeeperACL權(quán)限控制

九、Flume

Flume簡介及基本是可以使用

Linux環(huán)境下Flume的安裝部署

Flume統(tǒng)一整合Kafka

十、Sqoop

Sqoop簡介與安裝好

Sqoop的基本是使用

十一、Azkaban

Azkaban簡介

Azkaban3.x代碼編譯及部署

AzkabanFlow1.0的使用

AzkabanFlow2.0的使用

十二、Scala

Scala簡介及開發(fā)環(huán)境配置

基本都數(shù)據(jù)類型和運(yùn)算符

流程控制語句

數(shù)組——Array

數(shù)學(xué)集合類型綜述

具體方法集合類型之——List Set

廣泛真包含于類型之——MapTuple

類和對象

繼承和特質(zhì)

函數(shù)閉包柯里化

模式不兼容

類型參數(shù)

隱式轉(zhuǎn)換和隱式參數(shù)

十三、bec內(nèi)容

大數(shù)據(jù)應(yīng)用廣泛發(fā)郵箱

后記

資料分享與開發(fā)工具推薦

Shell腳本得到文件夾大??？

ls-ld文件夾路徑|awk{printint($5/1024)}

或則：

du-b文件夾路徑|awk{printint($1/1024)}

跟你上面算出文件大小類似于，能得到的都是以KB為單位的大小。

如果不是要以Byte為單位，不要乘以1024也千萬不能int取整應(yīng)該是了。

特別注意：Linux的ext2或ext3文件系統(tǒng)會給目錄分配一個inode塊（索引節(jié)點(diǎn)），用來記錄文件信息，所以我文件夾的大小并非很簡單地將其中文件大小累加就能換取的，還除了了這個索引節(jié)點(diǎn)的大小。索引節(jié)點(diǎn)是一個結(jié)構(gòu)，它真包含了一個文件的長度、創(chuàng)建角色及直接修改時間、權(quán)限、隸屬關(guān)系、磁盤中的位置等信息。