kafka實(shí)時(shí)流處理 大家都用storm做什么業(yè)務(wù)?
大家都用storm做什么業(yè)務(wù)?Apache storm主要用于實(shí)時(shí)數(shù)據(jù)流處理或?qū)崟r(shí)計(jì)算服務(wù),如1。用戶行為日志具有準(zhǔn)事實(shí)查詢的需求。使用flume將日志文件發(fā)送到Kafka后,可以使用storm進(jìn)行實(shí)
大家都用storm做什么業(yè)務(wù)?
Apache storm主要用于實(shí)時(shí)數(shù)據(jù)流處理或?qū)崟r(shí)計(jì)算服務(wù),如
1。用戶行為日志具有準(zhǔn)事實(shí)查詢的需求。使用flume將日志文件發(fā)送到Kafka后,可以使用storm進(jìn)行實(shí)時(shí)消費(fèi),從日志中解析出所需字段信息,并根據(jù)hive表定義的結(jié)構(gòu)實(shí)時(shí)寫入HDFS,從而可以實(shí)時(shí)查詢hive表。
2. 實(shí)時(shí)計(jì)算,如信息流的實(shí)時(shí)推薦,當(dāng)用戶刷新時(shí),可以向Kafka發(fā)送請求消息,用storm對這些請求進(jìn)行處理,將用戶的個性化結(jié)果匯總存儲在redis中,供用戶下次顯示。
3. storm還可以實(shí)現(xiàn)一些實(shí)時(shí)統(tǒng)計(jì)功能。