LiteAI四大技術"殺手鐧"，解鎖物聯網智慧設備AI開發難關

• 2020 年 5 月 14 日
• 筆記

你知道我們生活中常見的物聯網智慧設備融合AI技術後，會給我們帶來什麼樣的智慧交互體驗？在我們指尖觸碰的那一剎那背後隱藏的程式碼世界又是怎麼樣的呢？

今天就來和大家說說IoT智慧設備輕鬆實現AI的奧秘!

AIoT，智慧化升級的最佳通道

AIoT，對我們來說已經不是一個陌生的辭彙了，隨著深度學習的蓬勃發展和5G萬物互聯時代的到來，越來越多的人將AI與IoT結合到一起，而 AIoT已經成為傳統行業智慧化升級的最佳通道，是物聯網發展的必然趨勢。

AI和IoT相互交融產生的魔力，讓許多智慧產品及智慧應用成為無窮想像的「潛力股」。比如智慧音箱中的語音喚醒，家庭監控里的人臉識別，可穿戴設備上的AI計步等等，已經驗證物聯網產品融入人工智慧，升級成了智慧設備後的「威力」。

但，物聯網AI 開發者的「痛」，你遇到過么？

很多AI開發者開發者在訓練得到AI模型之後，必須得在設備上實現模型的推理才能獲得相應的AI能力，但目前AI模型不能直接在設備上運行起來。這就意味著，開發者還得有一套對應的推理框架才能真正實現AI與IoT設備的結合。

另外，目前深度學習雖然可以在很多領域超越傳統演算法，不過真正用到實際產品中卻要面臨計算量大，記憶體佔用高，演算法延時長的問題，而IoT設備又往往有算力低、記憶體小及實時性要求高的特點。因此針對IoT資源受限的問題，AI模型的壓縮及性能優化是AI模型在部署過程中必須解決的難點。

IoT設備中嵌入AI能力實現產品的智慧升級，已經是AIoT行業發展的重要通道，那怎樣才能實現AIoT = AI + IoT呢？如何將AI模型塞到小小的IoT設備里，讓它可以輕鬆運行起來呢？成為了AI開發者遇到的棘手難題。

LiteAI四大"殺手鐧"，解鎖物聯網設備AI 開發難關

- LiteOS輕量級AI推理框架LiteAI，從模型轉換、優化及執行三個方面向開發者呈現如何在IoT設備上實現AI模型的推理全流程，並結合智慧設備AI開發的案例，展示AI部署全過程。

-  針對IoT設備記憶體空間小的問題，LiteAI應用了模型量化技術，將模型參數從32比特浮點量化到8比特定點，實現75%模型壓縮；實現更合理的記憶體管理演算法，最大化記憶體復用率，絕大部分場景下達到記憶體使用下限值；提供模型壓縮及聚類演算法供開發者選擇，進一步減少記憶體佔用。

- LiteAI採用運算元融合、SIMD指令加速、循環分支細化及Cache分塊等技術手段，優化AI網路運算元性能，加速模型推理，充分發揮ARM CPU算力。

- LiteAI推理引擎純C語言實現，無第三方依賴，極為適合IoT產品部署；採用程式碼化模型執行函數設計，僅編譯鏈接有用運算元，完全剔除其他所有無用運算元，基本無冗餘程式碼，實現程式碼段空間佔用最小化。

觀看直播，聽聽專家怎麼說IoT智慧設備里的AI奧秘→//live.vhall.com/726224145