華為云針對(duì)物聯(lián)網(wǎng)領(lǐng)域業(yè)務(wù)提供了一系列專業(yè)的云服務(wù),如設(shè)備接入、IoT數(shù)據(jù)分析服務(wù)等;其中IoT數(shù)據(jù)分析服務(wù)是專為IoT數(shù)據(jù)分析業(yè)務(wù)場景特征做了深度優(yōu)化的云服務(wù),基于物聯(lián)網(wǎng)資產(chǎn)模型、整合物聯(lián)網(wǎng) 數(shù)據(jù)集 成、清洗、存儲(chǔ)、分析、可視化等能力,為開發(fā)者提供一站式的IoT數(shù)據(jù)分析能力,降低開發(fā)門檻,縮短開發(fā)周期,快速實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)價(jià)值變現(xiàn)。那么為什么要進(jìn)行數(shù)據(jù)分析如下圖所示。

大量的數(shù)據(jù)需要數(shù)據(jù)分析

物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)
如何做好IoT數(shù)據(jù)分析
資產(chǎn)模型
資產(chǎn)模型是IoT數(shù)據(jù)分析服務(wù)充分理解物聯(lián)網(wǎng)數(shù)據(jù)的基礎(chǔ)。構(gòu)建資產(chǎn)模型,就是構(gòu)建物與物,物與空間,物與人等復(fù)雜關(guān)系,將物聯(lián)網(wǎng)數(shù)據(jù)置于模型的上下文中去理解。資產(chǎn)模型就是物理世界的資產(chǎn)在數(shù)字世界中的映射,兩邊的數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步,實(shí)現(xiàn)數(shù)字孿生。IoT數(shù)據(jù)分析服務(wù)基于資產(chǎn)模型抽象,將不同的設(shè)備上報(bào)數(shù)據(jù)統(tǒng)一為業(yè)務(wù)可理解的數(shù)據(jù)格式。如下圖所示。

物聯(lián)網(wǎng)數(shù)據(jù)處理的關(guān)鍵是對(duì)時(shí)序數(shù)據(jù)的處理寫入功能:怎樣滿足海量設(shè)備高并發(fā),實(shí)時(shí)寫入的要求?
壓縮比例:某些物聯(lián)網(wǎng)設(shè)備可能產(chǎn)生巨量數(shù)據(jù),最大限度的壓縮是減少成本的直接手段。
查詢效率:面對(duì)長時(shí)間積累的物聯(lián)網(wǎng)數(shù)據(jù),如何滿足高性能查詢,特別是經(jīng)常做時(shí)間維度的聚合查詢。
按數(shù)據(jù)時(shí)效性分層處理,獲得綜合處理效率最大化

高效的數(shù)據(jù)清洗,為數(shù)據(jù)分析輸入高質(zhì)量的數(shù)據(jù)

相比將設(shè)備數(shù)據(jù)轉(zhuǎn)發(fā)至通用數(shù)據(jù)分析服務(wù)進(jìn)行分析的方案,IoT數(shù)據(jù)分析服務(wù)是專為物聯(lián)網(wǎng)場景設(shè)計(jì)的。
IoT數(shù)據(jù)分析服務(wù)支持設(shè)備接入管理服務(wù)和多種第三方服務(wù)作為數(shù)據(jù)源,將數(shù)據(jù)集成、歸檔、存儲(chǔ)后進(jìn)行分析,分析引擎基于資產(chǎn)模型理解數(shù)據(jù),支持實(shí)時(shí)分析、時(shí)序分析和離線分析。此外,針對(duì)行業(yè)用戶,IoT數(shù)據(jù)分析后還提供了行業(yè)分析套件,包括智慧物流行業(yè)、新能源車分析行業(yè)等。分析后的數(shù)據(jù),可以協(xié)同 AI平臺(tái) 利用,也可以開發(fā)給第三方應(yīng)用或華為云其他服務(wù)。數(shù)據(jù)分析的架構(gòu)如下圖所示。

離線分析
幫助物聯(lián)網(wǎng)數(shù)據(jù)開發(fā)者快速構(gòu)建物聯(lián)網(wǎng) 數(shù)據(jù)湖 ,開發(fā)者可通過標(biāo)準(zhǔn)SQL開發(fā)IoT數(shù)據(jù)分析任務(wù),并輕松處理TB-EB級(jí)別物聯(lián)網(wǎng) 大數(shù)據(jù)
數(shù)據(jù)湖:提供成本低廉的海量數(shù)據(jù)存儲(chǔ)能力,與物聯(lián)網(wǎng) 設(shè)備接入服務(wù) 無縫對(duì)接,快速接入物聯(lián)網(wǎng)數(shù)據(jù)源,并基于物聯(lián)網(wǎng)資產(chǎn)模型,對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行預(yù)處理,為數(shù)據(jù)分析做好準(zhǔn)備
大數(shù)據(jù)分析:使用大數(shù)據(jù)高可用,可水平擴(kuò)展框架,基于內(nèi)存計(jì)算模型,DAG調(diào)度框架、高效的優(yōu)化器,綜合性能是傳統(tǒng)MapReduce模型的百倍以上,幫助開發(fā)者輕松完成物聯(lián)網(wǎng)數(shù)據(jù)批分析
標(biāo)準(zhǔn)SQL作業(yè):提供標(biāo)準(zhǔn)的SQL接口,物聯(lián)網(wǎng)數(shù)據(jù)開發(fā)者無需關(guān)心SQL處理引擎的部署和運(yùn)維,只需聚焦物聯(lián)網(wǎng)業(yè)務(wù),開發(fā)分析作業(yè),并支持豐富的作業(yè)調(diào)度策略配置。如下圖所示。

實(shí)時(shí)分析
基于物聯(lián)網(wǎng)大數(shù)據(jù)流計(jì)算引擎,提供物聯(lián)網(wǎng)實(shí)時(shí)分析能力。為了降低開發(fā)者開發(fā)物聯(lián)網(wǎng)流分析作業(yè)門檻,IoT數(shù)據(jù)分析服務(wù)提供圖形化流編排能力,開發(fā)者可以通過拖拽方式快速開發(fā)上線。
圖形化流編排能力:可視化流編排IDE,無需寫SQL,通過簡單拖拽完成物聯(lián)網(wǎng)流分析作業(yè)定義
物聯(lián)網(wǎng)流編排算子:基于典型物聯(lián)網(wǎng)應(yīng)用場景,封裝常用算子,比如數(shù)據(jù)接入,數(shù)據(jù)過濾,數(shù)據(jù)轉(zhuǎn)換等等。如下圖所示。

時(shí)序分析
物聯(lián)網(wǎng)的數(shù)據(jù)具備時(shí)間序列特性,如下圖所示。
專為物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)處理優(yōu)化的服務(wù),包括高壓縮比的時(shí)序數(shù)據(jù)存儲(chǔ),高效的時(shí)序查詢效率,海量時(shí)間線能力;
海量接入:海量時(shí)間線能力,最大可達(dá)億級(jí)。
時(shí)序存儲(chǔ):列式存儲(chǔ)及專用壓縮算法,高壓縮率。
高效查詢:基于時(shí)間多維度聚合,近實(shí)時(shí)分析查詢。
數(shù)據(jù)可視化 :提供時(shí)序洞察工具,方便物聯(lián)網(wǎng)數(shù)據(jù)分析師進(jìn)行時(shí)序數(shù)據(jù)探索。
- 什么是華為云IoT_華為云物聯(lián)網(wǎng)云平臺(tái)的優(yōu)勢_物聯(lián)網(wǎng)平臺(tái)中心
- 物聯(lián)網(wǎng)是指什么_物聯(lián)網(wǎng)應(yīng)用平臺(tái)有哪些_物聯(lián)網(wǎng)卡購買平臺(tái)
- 華為云物聯(lián)網(wǎng)全棧云服務(wù)是什么意思_物聯(lián)網(wǎng)云平臺(tái)排名_物聯(lián)網(wǎng)平臺(tái)應(yīng)用
- 大數(shù)據(jù)分析是什么_大數(shù)據(jù)分析有什么特點(diǎn)
- 農(nóng)業(yè)物聯(lián)網(wǎng)_物聯(lián)網(wǎng)的特點(diǎn)_農(nóng)業(yè)物聯(lián)網(wǎng)云平臺(tái)