kafka manager使用說明 mesos屬于大數(shù)據(jù)計算平臺的哪類組件?
mesos屬于大數(shù)據(jù)計算平臺的哪類組件?首先,一個典型的大數(shù)據(jù)解決方案,即大數(shù)據(jù)系統(tǒng)平臺的構(gòu)建,涉及多個層面,如數(shù)據(jù)采集傳輸、數(shù)據(jù)存儲、數(shù)據(jù)計算、資源管理、任務(wù)調(diào)度等。在每個流程階段,都有多個組件可供
mesos屬于大數(shù)據(jù)計算平臺的哪類組件?
首先,一個典型的大數(shù)據(jù)解決方案,即大數(shù)據(jù)系統(tǒng)平臺的構(gòu)建,涉及多個層面,如數(shù)據(jù)采集傳輸、數(shù)據(jù)存儲、數(shù)據(jù)計算、資源管理、任務(wù)調(diào)度等。在每個流程階段,都有多個組件可供選擇,關(guān)鍵是滿足實際需求。舉一些簡單的例子來說明一些典型的組件:
文件存儲:Hadoop HDFS離線計算:Hadoop MapReduce、Spark streaming、實時計算:Storm、Spark Streaming K-V、NOSQL數(shù)據(jù)庫:HBase、Redis、MongoDB資源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash和Kibana消息系統(tǒng):Kafka、StormMQ、ZeroMQ和RabbitMQ查詢分析:Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin和Druid分布式協(xié)調(diào)服務(wù):Zookeeper集群管理和監(jiān)控:Ambari、Ganglia、Nagios