日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。簡(jiǎn)而言之，flume是一個(gè)分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢茫鏗DFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問(wèn)功能。

整個(gè)過(guò)程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對(duì)您有所幫助

如何取消flume ng1.6讀取一行結(jié)束不加換行符？

它需要從多個(gè)服務(wù)器實(shí)時(shí)收集nginx日志到一臺(tái)機(jī)器。

收集和存儲(chǔ)結(jié)果后，您需要每天生成一個(gè)文件夾，每5分鐘生成一個(gè)文件。例如，2012年12月29日12:26的日志需要放在/data/log/20121229/log-1225的相應(yīng)文件中。

我已經(jīng)實(shí)現(xiàn)了HDFS sink的文件接收器，類似于flume og和flume ng。

flume收集到的日志怎么實(shí)現(xiàn)json格式化？

Nginx或Apache可以保存訪問(wèn)日志。如何將日志發(fā)送到卡夫卡是非常免費(fèi)的。您可以編寫自己的程序，首先將其解析為JSON，或者直接將其注入rsyslog、flume和其他東西中