日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。簡而言之，flume是一個分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務器收集日志并將其傳輸?shù)街付ǖ奈恢茫鏗DFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務器<--flume-->kafka-->hdfs-->離線計算

登錄服務器<--flume-->kafka-->storm

希望我的回答能對您有所幫助

大數(shù)據(jù)和Java語言有啥區(qū)別？

大數(shù)據(jù)是指傳統(tǒng)軟件工具在一定時間內(nèi)無法捕獲、管理和處理的數(shù)據(jù)集。它是一種海量、高增長率、多樣化的信息資產(chǎn)，需要新的處理模式具有更強的決策能力、洞察力和流程優(yōu)化能力。

軟件開發(fā)是根據(jù)用戶需求構建軟件系統(tǒng)或系統(tǒng)的軟件部分的過程。軟件開發(fā)是一個系統(tǒng)工程，包括需求捕獲、需求分析、設計、實現(xiàn)和測試。就業(yè)肯定軟件開發(fā)是更好的就業(yè)

在學習大數(shù)據(jù)之前先學一門計算機編程語言。大數(shù)據(jù)的開發(fā)需要編程語言的基礎，因為大數(shù)據(jù)的開發(fā)是基于一些常用的高級語言，比如Java和Java。凈額。Java具有簡單性、面向對象性、分布式、健壯性、安全性、平臺無關性和可移植性、多線程、動態(tài)性等特點。Java可以編寫桌面應用程序、web應用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應用程序。學習java會有一定的學習能力，然后學習其他語言和技術會容易得多。無論是Hadoop還是數(shù)據(jù)挖掘，都需要高級編程語言的基礎。

因此，如果你想學習大數(shù)據(jù)開發(fā)，你還需要至少掌握一門高級語言。例如，許多Hadoop和其他大數(shù)據(jù)處理技術都使用Java，比如Apache基于Java的HBase、acumulo和elasticsearchas。因此，學習Hadoop的首要條件之一就是掌握Java編程語言。

想學大數(shù)據(jù)開發(fā)，有什么好的學習機構？

大數(shù)據(jù)有很多方向。這取決于你的興趣、背景和職業(yè)發(fā)展計劃。比如：大數(shù)據(jù)架構、大數(shù)據(jù)平臺運維、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)算法、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)業(yè)務分析等，具體可以在排隊或請咖啡找大數(shù)據(jù)專家給你提建議。

為什么有人說大數(shù)據(jù)工程師比Java程序員工資高50%？

目前正處于大數(shù)據(jù)時代，基于大數(shù)據(jù)的相關應用也處于落地應用的初級階段。由于大數(shù)據(jù)研發(fā)人才缺口較大，整個IT行業(yè)從事大數(shù)據(jù)開發(fā)的研發(fā)人員薪酬相對較高。因為早期從事大數(shù)據(jù)開發(fā)的工程師往往受過高等教育（研究生以上），這也是薪酬較高的原因之一。

在IT行業(yè)，技術人員的薪酬與其知識結構密切相關。對于掌握流行技術的開發(fā)者來說，薪水往往更好，這也是促進人才結構升級的一種方式。與大數(shù)據(jù)相關的研發(fā)工作往往對開發(fā)者有更多的要求（數(shù)學、統(tǒng)計學等），而從事與大數(shù)據(jù)相關的研發(fā)工作往往需要很長時間的積累，因此大數(shù)據(jù)人才的待遇相對較高。由于大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展速度明顯快于人才培養(yǎng)速度，未來大數(shù)據(jù)領域將長期面臨人才短缺的問題，尤其是專業(yè)技術人才，這將在一定程度上進一步提升大數(shù)據(jù)開發(fā)崗位的薪酬水平。

Java程序員組是目前IT行業(yè)中一個相對較大的組。主要原因是Java語言具有廣泛的應用場景和穩(wěn)定的性能。無論是大規(guī)模的互聯(lián)網(wǎng)應用還是中小規(guī)模的開發(fā)，Java都有豐富的解決方案。隨著Java語言在大數(shù)據(jù)領域的廣泛應用，許多Java程序員逐漸轉向大數(shù)據(jù)領域。從目前行業(yè)的發(fā)展來看，選擇大數(shù)據(jù)方向的Java程序員在待遇上往往有比較明顯的提高。

最后，隨著工業(yè)互聯(lián)網(wǎng)的發(fā)展，未來大數(shù)據(jù)開發(fā)工程師的付出空間會更大，因此程序員學習大數(shù)據(jù)相關知識是很有必要的。

想自學大數(shù)據(jù)，不知道從哪里學起，有什么書籍和學習路線推薦么？

謝謝！筆者剛剛簽了一份大數(shù)據(jù)挖掘工程師的合同，到了研究生階段才轉向大數(shù)據(jù)方向。目前大數(shù)據(jù)火爆，很多學生都想上交，但自學的學習路線因人而異。

以我自己為例，作者出生于Python數(shù)據(jù)分析領域，具有通用編程能力。因此，在此基礎上，他首先學習了Linux的基本操作命令，安裝了Ubuntu的雙系統(tǒng)，并進一步安裝了Hadoop和spark組件。在此基礎上，他利用pypark操作spark大數(shù)據(jù)框架進行學習。您可以推薦以下書籍：

pypark實用指南

，由淺入深，非常好用。