LabVIEW開放神經網路交互工具包【ONNX】，大幅降低人工智慧開發門檻，實現飛速推理
- 2022 年 10 月 25 日
- 筆記
- LabVIEW, Labview_Deep Learn, 機器視覺, 深度學習
前言
前面給大家介紹了自己開發的LabVIEW AI視覺工具包
一、工具包內容
這個開放神經網路交互工具包主要優勢如下：
-
簡單編程：圖形化編程，無需掌握文本編程基礎即可完成機器視覺項目;
-
提供多種框架生成的onnx模型導入模組：包括pytorch、caffe、tensorflow、paddlepaddle等生成的onnx模型；
-
多種高效加速推理介面：CUDA、TensorRT對模型進行最大化的加速；
-
支援多種硬體加速：支援Nvidia GPU、Intel、TPU、NPU多種硬體加速
-
提供近百個應用程式範例：包括物體分類、物體檢測、物體測量、影像分割、 人臉識別、自然場景下OCR等多種實用場景
工具包中的函數選版如下：
例如，一個攝影機採集並進行yolov5目標檢測的范常式序，只需在LabVIEW中編寫簡單的圖形化程式，即可實現。在大量簡化編程難度的同時，也保持了c++的高效運行特性。
通常我們做項目，在部署過程中想要加速，無非就那麼幾種辦法，如果我們的設備是CPU，那麼可以用openvion，如果我們希望能夠使用GPU，那麼就可以嘗試TensorRT了。那麼為什麼要選擇TensorRT呢？因為我們目前主要使用的還是Nvidia的計算設備，TensorRT本身就是Nvidia自家的東西，那麼在Nvidia端的話肯定要用Nvidia親兒子了。
不過因為TensorRT的入門門檻略微有些高，直接勸退了想要入坑的玩家。其中一部分原因是官方文檔比較雜亂；另一部分原因就是TensorRT比較底層，需要一點點C++和硬體方面的知識，學習難度會更高一點。我們做的開放神經網路交互工具包GPU版本，直接將TensorRT一起集成到了onnx_session中，可以載入任何onnx模型，可以使用CUDA或者TensorRT加速,實現高效的推理
二、工具包下載鏈接
三、工具包安裝步驟
詳細安裝步驟可查看：
四、實現物體識別
無論使用何種框架訓練物體檢測模型，都可以無縫集成到LabVIEW中，並使用工具包提供的CUDA、tensorRT介面實現加速推理，模型包括但不限於：
-
yolov5、yolov6、yolov7、pp-yoloe、yolox
-
torchvision中的影像分類、目標檢測模型等
通過演算法優化，在LabVIEW中運行模型的速度明顯好於python，這對於對性能要求較高的工業現場來說非常友好實用。比如說：工地安全帽檢測、物體表面缺陷檢測等，如下圖進行物體識別，在GPU模式下，無論是運行速度和識別率都可以達到工業級別。
-
yolov4實現目標檢測：
-
基於onnx，yolov5使用tensorRT實現推理加速：
-
NI vision採集影像、tensorRT加速實現yolov5目標檢測
-
yolov5實現口罩檢測：
-
yolov5實現安全帽檢測：
-
yolov6實現目標檢測：
-
yolox實現目標檢測：
-
百度PP-YOLOE實現目標檢測：
五、實現影像分割
影像分割是當今電腦視覺領域的關鍵問題之一。從宏觀上看，影像分割是一項高層次的任務，為實現場景的完整理解鋪平了道路。場景理解作為一個核心的電腦視覺問題，其重要性在於越來越多的應用程式通過從影像中推斷知識來提供營養。隨著深度學習軟硬體的加速發展，一些前沿的應用包括自動駕駛汽車、人機交互、醫療影像等，都開始研究並使用影像分割技術。
本次集成的工具包提供了多種影像分割的調用模組，並實現了GPU模式下TensorRT的加速運行。如： 語義分割：Segnet、deeplabv1~deeplabv3、deeplabv3+、u-net等； 實例分割：Mask-RCNN、PANet等 
六、自然場景下的文字識別
工具包提供了文本檢測定位（DB_TD500_resnet50、EAST）、文本識別的模組（CRNN)，用戶可以使用該模組實現自然場景下的中英文文字識別
應用：身份證識別、表單識別、包裝盒標籤檢測等
七、人臉檢測與識別
八、人體關鍵點檢測
人體骨骼關鍵點對於描述人體姿態，預測人體行為至關重要。因此人體骨骼關鍵點檢測是諸多電腦視覺任務的基礎，例如動作分類，異常行為檢測，以及自動駕駛等等。近年來，隨著深度學習技術的發展，人體骨骼關鍵點檢測效果不斷提升，已經開始廣泛應用於電腦視覺的相關領域。 本次集成的工具包提供了關鍵點檢測的調用模組，並實現了GPU模式下TensorRT的加速運行。
總結
工具包的具體使用可以關注部落客的後續部落格，如果有問題可以在評論區里討論，提問前請先點贊支援一下部落客哦 更多問題可添加技術交流群進行進一步的探討。qq群號：705637299,，進群請備註暗號：LabVIEW機器學習
