以數字資產模型為核心驅動的一站式IoT數據分析實踐

• 2020 年 4 月 13 日
• 筆記

【摘要】 一個不會直播的雲服務架構師，不是一個好的攻城獅！

在這個全民直播的時代

一個不會直播的雲服務架構師

 不是一個好的攻城獅

3月23日15:00-15:50，華為雲IoT物聯網數據分析服務架構師周仕鵬老師，開啟了他人生中的第一場直播。在歷經了直播小白都會遇到的緊張、認真籌備、期待、再度緊張的一系列過程後，周老師終於站在了直播間，與大家侃侃而談「以數字資產模型為核心驅動的一站式IoT數據分析實踐」，並在直播過程中演示了物聯網數據分析Demo開發流程。

直播結束後，小編在後台悄悄問了下周老師：「您的首次直播都可以做到這麼自信和遊刃有餘，秘笈是啥？」

正準備離開的周老師停下腳步，回眸一笑：「談技術，沒有人比我更懂物聯網數據分析，談直播，每個人都有第一次。在這個全民直播的時代，一個不會直播的雲服務架構師不是一個好的攻城獅。」

小編：…….（回味中）

下面就讓小編帶你一起回顧和探秘周老師在直播間聊到的物聯網數據分析那些事兒~

物聯網數據分析面臨的問題與挑戰
隨着物聯網設備接入數量的快速增長，物聯網數據量也急速增長，快捷有效的數據分析的價值越來越重要。然而，當前物聯網數據分析面臨著諸多關鍵挑戰，貫穿着數據分析的整個過程：

• 數據接入階段：數據質量參差不齊、且面臨多種異構數據源接入
• 數據準備階段：缺少統一數據模型，需要進行大量的數據抽取、轉換等處理
• 數據存儲階段：海量數據查詢效率低下，數據多份存儲、數據管理成本高昂
• 數據分析階段：不同類型數據分析數據源不同，形成數據孤島、存在大量數據搬遷；並且數據分析門檻高，缺少簡單易用的數據分析工具
• 數據可視化階段：缺少交互式查詢能力、缺少基於時間維度的洞察分析能力                          

華為雲IoT物聯網數據分析開放架構介紹
基於以上物聯網數據分析面臨的挑戰，華為推出以資產模型為核心驅動的一站式物聯網數據分析服務：基於物聯網資產模型，整合大數據分析領域的最佳實踐，以及物聯網數據集成、清洗、存儲、分析、可視化，為開發者打造一站式數據開發體驗，並且跟華為雲物聯網相關雲服務（比如設備接入）無縫對接，降低開發門檻，縮短開發周期，快速實現物聯網數據價值變現。

下面我們將從資產建模、高效存儲、時序分析三個方面進行展開介紹：

資產模型
構建資產模型是充分「理解」物聯網數據的基礎。現實世界的設備不是離散的，而是具有空間、組織、人等複雜關係與上下文存在的。如何打通物理世界與數字世界的關聯，如何更好的理解設備從而快捷高效地分析數據，成為物聯網企業急需的基礎業務。

不同於通用型大數據分析相關產品，華為雲IoT物聯網數據分析服務與資產模型深度整合，以DigitalTwins資產模型為中心驅動數據分析，開發者可以直接使用統一的物聯網模型數據，大大提升數據分析的效率。通過構建物與物，物與空間，物與人等複雜關係，將物聯網數據置於模型的「上下文」中去理解；通過「IoT+資產模型」，在數字世界中構建與物理世界准實時同步的數字孿生；基於模型抽象，為數據分析提供面向業務的接口封裝。下圖舉例，將一棟樓映射成數字孿生，通過資產模型創建了大樓內部的組成關係。

在建模過程中，物聯網數據分析服務提供圖形化可拖拽方式的開發環境，簡化複雜資產模型的開發過程，對於相同的資產可以採用模板方式批量創建。支持UDF（用戶自定義函數）能力，用戶在創建虛測點過程中可使用比如四則運算，科學計數法，三角函數，滑窗，流計算等函數。

高效存儲
數據量大且具有時效性是物聯網數據的典型特點，隨着時間推移數據價值會逐漸降低。在不同場景下，數據處理時效性的要求也不同。比如：車聯網行業的地理圍欄、工業領域的生產線異常檢測、園區火警告警等，都需要時效性，數據需實時處理，一般都在毫秒級別。而對於報表、統計類等分析，是對較長時間段的數據進行分析，對時間要求不高，一般是分鐘級別。

華為雲IoT物聯網數據分析服務針對不同場景下的數據特點採用不同的存儲策略，提供溫冷數據分層存儲，在滿足數據處理要求的同時，降低存儲成本。

同時，針對物聯網數據具備的顯著時序特徵，華為雲IoT物聯網數據分析服務在數據存儲及數據分析上做了大量的優化，提供高性能、高壓縮比的時序數據處理。比如按時間線做Hash Partition，所有Shard節點並行寫入，單實例支持超10萬時間線，最大億級時間線；通過採用列式存儲布局，不同數據類型（如時間類型，浮點型）採用不同壓縮算法，相比開源OpenTSDB壓縮率提升10倍，獲得極致壓縮率；支持多維倒排索引、向量化查詢等，相對開源OpenTSDB查詢效率提升10倍以上。

時序分析
物聯網數據具備的顯著時序特徵：按照時間維度上報、存儲、查詢數據。基於物聯網數據的這些特徵，華為雲IoT物聯網數據分析服務提供時序數據洞察工具explorer，提供了開箱即用的時序洞察能力，無需任何開發。

• 基於統一的資產模型進行洞察探索，無需編碼或數據準備，提升洞察效率；
• 基於高效的時序存儲，可在海量歷史數據中秒級快速交互分析查詢，可基於任意資產、任意時間點 做准實時的探索查詢；
• 基於資產模型環境上下文可視化效果，可通過豐富圖表呈現，快速洞察時序數據特徵。

針對實時性要求高的場景，物聯網數據分析服務還提供基於算子的無 碼編排開發實時分析作業系統：

• 預置IoT行業實時處理的算子，行業開發者通過連接算子來編排出實時作業處理流程，無需專業算法知識；
• 面向行業開發者提供簡單易用的無 碼化開發IDE，快速開發流處理實時分析作業，降低開發者的學習門檻，提高開發效率。 

典型應用場景
為了讓大家更好地理解和熟悉華為雲IoT物聯網數據分析服務開發流程，周仕鵬老師在直播間演示了如下兩個物聯網數據分析典型應用場景：

智慧樓宇分析系統
在實際應用開發中，由於每個樓宇、樓層的設備為離散的物理設備，如果需要按照樓宇、樓層等為單位進行統計並監控設備，就需要對樓宇、設備之間的關係進行標註關聯，並且後續的數據分析階段還需要重新理解實際設備以及關聯關係，開發效率低。

通過華為雲IoT物聯網數據分析服務可以對樓宇進行快速資產建模，並基於統一模型做設備監控、實時分析、時序分析，降低開發門檻，提升數據分析開發效率。

智慧倉儲中的實時分析
華為雲IoT物聯網數據分析服務的資產建模能力，可幫助行業開發者快速構建資產模型並便捷管理。在倉庫的進出庫管理中，基於數據分析服務的實時分析，結合AI推理計算，對異常RFID數據流進行識別檢測，可實現秒級判斷出貨物在進出庫過程中的進出方向，繼而可自動與貨單進行校對，實時告知倉庫管理人員進出貨物的情況。