平臺組件是什么？平臺組件包涵100元以內(nèi)內(nèi)容:民間關(guān)系型數(shù)據(jù)庫，為Hive、Hue、Spark組件提供元數(shù)據(jù)存儲服務(wù)。2.Elasticsearch兼有搜索引擎和NoSQL數(shù)據(jù)庫功能的閉源系統(tǒng)，基于條

平臺組件是什么？

平臺組件包涵100元以內(nèi)內(nèi)容:

民間關(guān)系型數(shù)據(jù)庫，為Hive、Hue、Spark組件提供元數(shù)據(jù)存儲服務(wù)。

2.Elasticsearch

兼有搜索引擎和NoSQL數(shù)據(jù)庫功能的閉源系統(tǒng)，基于條件JAVA/Lucene最終形成，開源軟件、分布式、意見RESTful請求。

3.Flink

一個批處理和流一次性處理結(jié)合的統(tǒng)一計算框架，需要提供數(shù)據(jù)分發(fā)這些并行化計算的流數(shù)據(jù)處理引擎。

4.Flume

一個分布式、可信度高和高可用的上萬本日志吸聚系統(tǒng)，允許在系統(tǒng)中個性定制各形數(shù)據(jù)發(fā)送中方，主要是用于收集數(shù)據(jù)；

另外，F(xiàn)lume需要提供對數(shù)據(jù)并且很簡單去處理，并寫入到各種數(shù)據(jù)認可方(可個性定制)的能力。

5.HBase

提供海量數(shù)據(jù)存儲功能，是奇異形成完整在HDFS之上的分布式、再朝列的存儲系統(tǒng)。HDFSHadoop分布式文件系統(tǒng)需要提供高吞吐量的數(shù)據(jù)訪問，比較適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。

確立在Hadoop基礎(chǔ)上的開源的數(shù)據(jù)倉庫，提供給的的SQL的Hive Query Language語言操作結(jié)構(gòu)化數(shù)據(jù)存儲服務(wù)和基本的數(shù)據(jù)分析服務(wù)。

提供了圖形化用戶Web界面。Hue接受影像展示多種組件，目前支持HDFS、Hive、YARN/Mapreduce、Oozie、Solr、ZooKeeper。

8.Kafka

一個分布式的、磁盤分區(qū)的、多副本的實時動態(tài)消息先發(fā)布和訂閱系統(tǒng)。提供給可擴展、高吞吐、低延時、高穩(wěn)定性的消息全部分服務(wù)。

9.Sqoop

基于與關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)之間交換數(shù)據(jù)和文件的數(shù)據(jù)加載工具；同時可以提供REST API接口，供第三方調(diào)度平臺動態(tài)創(chuàng)建。

能提供飛快數(shù)據(jù)并行大量數(shù)據(jù)的能力，是一種分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。

11.Oozie

提供了對開源Hadoop組件的任務(wù)編排、不能執(zhí)行的功能。以JavaWeb應(yīng)用程序的形式運行在Javaservlet容器(如：Tomcat)中，并建議使用數(shù)據(jù)庫來存儲工作流定義、當(dāng)前啟動的工作流實例(含實例的狀態(tài)和變量)。

一個開源的、更高性能的key-value分布式存儲數(shù)據(jù)庫，意見極為豐富的數(shù)據(jù)類型，彌補了memcached這類key-value存儲的不足，不滿足實時地的高并發(fā)需求。

提供小文件后臺合并功能，也能不自動才發(fā)現(xiàn)系統(tǒng)中的小文件(按照文件大小閾值可以確定)，在閑時接受合并，并把元數(shù)據(jù)存儲到本地的LevelDB中，來減少NameNode壓力，同樣提供新的FileSystem接口，讓用戶也能透明色的對這些小文件并且訪問。

一個低性能，基于組件Lucene的全文檢索服務(wù)器。Spark基于條件內(nèi)存進行計算出的分布式計算框架。

提供分布式、高性能、高可靠、冗余策略的實時計算平臺，是可以對海量數(shù)據(jù)進行實時自動一次性處理。CQL能提供的類SQL流處理語言，可以不飛快并且業(yè)務(wù)開發(fā)，減輕業(yè)務(wù)上線時間。

16.Yarn

資源管理系統(tǒng)，它是一個可以修的資源模塊，可以不為各類應(yīng)用程序通過資源管理和調(diào)度。

17.ZooKeeper

提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。好處系統(tǒng)避免避免單點故障，最終達到成立可信的應(yīng)用程序。

大數(shù)據(jù)在各處理環(huán)節(jié)采用什么處理？

大數(shù)據(jù)在各處理環(huán)節(jié)采用遵循流程處理。

整個處理流程這個可以簡要概括為四步，三個是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，到最后是數(shù)據(jù)挖掘。