如何獲取大數(shù)據(jù)？大數(shù)據(jù)的數(shù)據(jù)來源主要有三個，即物聯(lián)網(wǎng)系統(tǒng)、傳統(tǒng)信息處理系統(tǒng)和互聯(lián)網(wǎng)應(yīng)用(Web和App)，因此需要從這三個渠道獲取大數(shù)據(jù)。物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的數(shù)據(jù)在大數(shù)據(jù)中占有重要比重，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)多

如何獲取大數(shù)據(jù)？

大數(shù)據(jù)的數(shù)據(jù)來源主要有三個，即物聯(lián)網(wǎng)系統(tǒng)、傳統(tǒng)信息處理系統(tǒng)和互聯(lián)網(wǎng)應(yīng)用(Web和App)，因此需要從這三個渠道獲取大數(shù)據(jù)。

物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的數(shù)據(jù)在大數(shù)據(jù)中占有重要比重，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)，包括視頻、音頻、傳感數(shù)據(jù)等。物聯(lián)網(wǎng)的應(yīng)用領(lǐng)域很多，比如工業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)物聯(lián)網(wǎng)、汽車互聯(lián)網(wǎng)、智慧城市等。，會產(chǎn)生大量的數(shù)據(jù)。通常，這些數(shù)據(jù)的收集是嚴(yán)格要求的，不能對個人開放。如果個人想要獲取這部分?jǐn)?shù)據(jù)，比較可行的方案是與數(shù)據(jù)采集者合作，比如做數(shù)據(jù)分析等服務(wù)。

傳統(tǒng)的信息系統(tǒng)涵蓋的領(lǐng)域非常廣泛，包括政務(wù)系統(tǒng)、企業(yè)ERP、教育信息系統(tǒng)、醫(yī)療信息系統(tǒng)等。傳統(tǒng)信息系統(tǒng)覆蓋的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)，往往具有較高的準(zhǔn)確性和相關(guān)性，這部分?jǐn)?shù)據(jù)的價值密度相對較高。

而傳統(tǒng)信息系統(tǒng)所覆蓋的數(shù)據(jù)往往涉及個人隱私、商業(yè)秘密等內(nèi)容，因此這部分內(nèi)容通常受到嚴(yán)密保護(hù)。隨著大數(shù)據(jù)技術(shù)的發(fā)展，業(yè)界對于政務(wù)系統(tǒng)數(shù)據(jù)開放的呼聲越來越高。脫敏數(shù)據(jù)往往不會侵犯個人隱私，所以未來一些政務(wù)系統(tǒng)的大數(shù)據(jù)會陸續(xù)開放。

互聯(lián)網(wǎng)應(yīng)用也是產(chǎn)生大數(shù)據(jù)的重要基礎(chǔ)之一，包括各種Web應(yīng)用和大量App產(chǎn)品。這部分?jǐn)?shù)據(jù)多為半結(jié)構(gòu)化，數(shù)據(jù)內(nèi)容也難辨真假。但由于這部分?jǐn)?shù)據(jù)的價值密度相對較高，現(xiàn)在很多互聯(lián)網(wǎng)公司 "肖像 "用戶根據(jù)這些數(shù)據(jù)，從而做出多維分類。

1.基于web服務(wù)器的日志收集。誰在訪問網(wǎng)站，用戶訪問網(wǎng)站的路徑，用戶在每個頁面停留的時間，用戶離開網(wǎng)站的位置，用戶是否成功完成自己想做的事情等等。

2.客戶端收集用戶行為數(shù)據(jù)。通過對用戶各個模塊的點擊率、點擊量、訪問量，以及用戶的停留時間、訪問量的數(shù)據(jù)抓取。