Hi3359AV100 NNIE开发（1）-RFCN(.wk)LoadModel函数参数解析

2021 年 3 月 8 日
笔记
hi3559, Hi35xx项目开发, LoadModel, NNIE, RFCN

　　之后随笔将更多笔墨着重于NNIE开发系列，下文是关于Hi3359AV100 NNIE开发（1）-RFCN NNIE LoadModel函数与参数解析，通过对LoadModel函数的解析，能够很好理解.wk文件的具体内容，为方便为对其他不同模型.wk加载时如何进行修改给出参照。

　　在RFCN demo中把RFCN的.wk模型文件通过函数导出模型参数，具体如下所示：

1 static SAMPLE_SVP_NNIE_MODEL_S s_stRfcnModel = {0};
2 
3 HI_CHAR *pcModelName = "./data/nnie_model/detection/inst_rfcn_resnet50_cycle_352x288.wk";
4 
5 //函数输入参数
6 SAMPLE_COMM_SVP_NNIE_LoadModel(pcModelName,&s_stRfcnModel);

　　SAMPLE_COMM_SVP_NNIE_LoadModel函数定义原型如下：

1 SAMPLE_COMM_SVP_NNIE_LoadModel(
2         HI_CHAR * pszModelFile,
3          SAMPLE_SVP_NNIE_MODEL_S *pstNnieModel)

　　LoadModel函数下SAMPLE_SVP_NNIE_MODEL_S参数定义：

1 typedef struct hiSAMPLE_SVP_NNIE_MODEL_S
2 {
3     SVP_NNIE_MODEL_S    stModel;
4     SVP_MEM_INFO_S      stModelBuf;//store Model file
5 }SAMPLE_SVP_NNIE_MODEL_S;

　　给出SAMPLE_SVP_NNIE_MODEL_S结构体下SVP_NNIE_MODEL_S参数定义：

 1 /*NNIE model*/
 2 typedef struct hiSVP_NNIE_MODEL_S
 3 {
 4     SVP_NNIE_RUN_MODE_E     enRunMode;/*枚举类型，网络模型运行模式*/
 5 
 6     HI_U32                  u32TmpBufSize; /*temp buffer size 辅助内存大小*/
 7     HI_U32                  u32NetSegNum; /*网络模型中 NNIE 执行的网络分段数,取值[1,8]*/
 8     SVP_NNIE_SEG_S          astSeg[SVP_NNIE_MAX_NET_SEG_NUM];/*网络在 NNIE 引擎上执行的段信息*/
 9     SVP_NNIE_ROIPOOL_INFO_S astRoiInfo[SVP_NNIE_MAX_ROI_LAYER_NUM]; /*ROIPooling info*/
10 
11     SVP_MEM_INFO_S          stBase; /*网络其他信息*/
12 }SVP_NNIE_MODEL_S;

　　enRunModel：为枚举类型，表示网络模型的运行模式，有SVP_NNIE_RUN_MODE_CHIP（只能在Chip上运行），以及SVP_NNIE_RUN_MODE_FUNC_SIM（只能用于PC端功能仿真）两个枚举值。可以通过打印可以看到RFCN网络模型的运行情况。

u32TempBufSize：为辅助内存大小。

u32NetSegNum：为网络模型中NNIE执行的网络分段数，取值为1~8。这里的分段是指模型执行中可能会分成多段，一些段在NNIE上执行，一些段在CPU或DSP上执行，给出图示之前，首先先给出SVP对扩展层的参考设计：

　　当网络中存在 Non-support 层时，需要将网络进行切分，不支持的部分由用户使用 CPU或者 DSP 等方式实现，统称为非 NNIE 方式。由此整个网络会出现 NNIE->非 NNIE->NNIE… 的分段执行方式。以Faster RCNN为例，具体如下图所示：

　　u32NetSegNum就是指有多少段是在NNIE上执行的，如果一个网络模型全部都是在NNIE上执行，那么这个u32NetSegNum就是1。由上图可知FasterRCNN网络的NNIE执行分为两段，即u32NetSegNum = 2。

　　astSeg[SVP_NNIE_MAX_NET_SEG_NUM]：这个参数是一个结构体数组，SVP_NNIE_MAX_NET_SEG_NUM在hi_nnie.h中定义为8，这个数组表示每一段NNIE网络的各段的具体信息，具体信息有哪些，来看SVP_NNIE_MODEL_S结构体下SVP_NNIE_SEG_S这个结构体：

 1 /***************************************************************/
 2 /*Segment information*/
 3 typedef struct hiSVP_NNIE_SEG_S
 4 {
 5     SVP_NNIE_NET_TYPE_E enNetType;    /*网络段的类型*/
 6     HI_U16              u16SrcNum;         /*网络段的输入节点数*/
 7     HI_U16              u16DstNum;         /*网络段的输出节点数*/
 8     HI_U16              u16RoiPoolNum; /*网络段中包含的 RoiPooling 以及 PSRoiPooling layer 数*/
 9 
10     HI_U16              u16MaxStep;      /*RNN/LSTM 网络中序列的最大“帧数”*/
11 
12     HI_U32              u32InstOffset;
13     HI_U32              u32InstLen;
14 
15     SVP_NNIE_NODE_S     astSrcNode[SVP_NNIE_MAX_INPUT_NUM];/*网络段的第 i 个输入节点信息， SVP_NNIE_MAX_INPUT_NUM为16*/
16 
17     SVP_NNIE_NODE_S     astDstNode[SVP_NNIE_MAX_OUTPUT_NUM];/*网络段的第 i 个输出节点信息， SVP_NNIE_MAX_OUTPUT_NUM为16*/
18 
19     HI_U32              au32RoiIdx[SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG]; /*Roipooling info index  网络段的第 i 个 RoiPooling 或者 PsRoiPooling 在SVP_NNIE_MODEL_S 中 SVP_NNIE_ROIPOOL_INFO_S 数组的下标，SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG为2*/
20 }SVP_NNIE_SEG_S;

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下enNetType参数为枚举类型，具体如下所示：

1 /*Network  type 例子见后面表格 */
2 typedef enum hiSVP_NNIE_NET_TYPE_E
3 {
4     SVP_NNIE_NET_TYPE_CNN  = 0x0, /* Non-ROI input cnn net，普通的CNN\DNN网络类型 */
5     SVP_NNIE_NET_TYPE_ROI  = 0x1, /* With ROI input cnn net，有RPN层输出框信息的网络类型*/
6     SVP_NNIE_NET_TYPE_RECURRENT = 0x2, /* RNN or LSTM net */
7  
8     SVP_NNIE_NET_TYPE_BUTT
9 }SVP_NNIE_NET_TYPE_E;

　　包含4种类型：SVP_NNIE_NET_TYPE_CNN表示普通的的CNN网络， SVP_NNIE_NET_TYPE_ROI有RPN层输出框信息的网络类型，这里其实就是指Faster RCNN的NNIE模型中的Proposal层，这个层包含RPN输出框信息，且由CPU来执行。SVP_NNIE_NET_TYPE_RECURRENT则表示RNN循环神经网络或者LSTM长短期记忆网络。
　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下u16SrcNum：表示这个段的输入节点数，即这个段网络有多少个输入，也是后面的astSrcNode数组的元素的有效个数。

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下u16DstNum：表示这个段的输出节点数，即这个段网络有多少个输出，也是后面的astDstNode数组的元素的有效个数。

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下astSrcNode与astDstNode：表示这个段的输入和输出节点的具体信息，其类型为SVP_NNIE_NODE_S，具体如下：

 1 /*Node information*/
 2 typedef struct hiSVP_NNIE_NODE_S
 3 {
 4     SVP_BLOB_TYPE_E  enType; /*节点的类型*/
 5     union
 6     {
 7         struct
 8         {
 9             HI_U32 u32Width;  /*节点内存形状的宽*/
10             HI_U32 u32Height; /*节点内存形状的高*/
11             HI_U32 u32Chn;  /*节点内存形状的通道数*/
12         }stWhc;
13 
14         HI_U32 u32Dim; /*节点内存的向量维度*/
15     }unShape;
16 
17     HI_U32 u32NodeId; /*节点在网络中的 Id*/
18     HI_CHAR szName[SVP_NNIE_NODE_NAME_LEN];/*Report layer bottom name or data layer bottom name*/
19 }SVP_NNIE_NODE_S;

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体SVP_NNIE_NODE_S结构体下enType是枚举类型，其类型SVP_BLOB_TYPE_E如下：

 1 /*Blob type*/
 2 typedef enum hiSVP_BLOB_TYPE_E
 3 {
 4     SVP_BLOB_TYPE_S32       =  0x0,  /*Blob 数据元素为 S32 类型*/
 5 
 6     SVP_BLOB_TYPE_U8        =  0x1, /*Blob 数据元素为 U8 类型*/
 7 
 8     /*channel = 3*/
 9     SVP_BLOB_TYPE_YVU420SP  =  0x2, /*Blob 数据内存排布为 YVU420SP*/
10 
11     /*channel = 3*/
12     SVP_BLOB_TYPE_YVU422SP  =  0x3,/*Blob 数据内存排布为 YVU422SP*/
13 
14     SVP_BLOB_TYPE_VEC_S32   =  0x4, /*Blob 中存储向量，每个元素为 S32 类型*/
15 
16     SVP_BLOB_TYPE_SEQ_S32   =  0x5,/*Blob 中存储序列，数据元素为 S32 类型*/
17 
18     SVP_BLOB_TYPE_BUTT
19 }SVP_BLOB_TYPE_E;

　　（以Fast RCNN为例）通过打印输出SVP_NNIE_MODEL_S结构体中的astSeg，即打印两段NNIE网络信息的输入输出节点信息，具体如下：

　　从打印的信息，我们首先看段与节点的类型，这个对于以后的分析有用，因为后面的一些初始化操作会根据不同的类型有不同的操作，如下表：

　　将以上打印与下面网络图结合，这里的节点名szName，个人的理解是，如果作为输入节点，则显示的是该层的bottom的名字，如果作为输出节点，则显示top的名字。第1段有1个输入节点，即data层的输入。输出节点的数量打印显示是4个输出，而下面的网络图中只有3个输出，即conv5, rpn_bbox_pred, rpn_cls_prob_reshape，打印显示多了一个rpn_cls_score。在RuyiStudio的网络图里rpn_cls_score是在第一段的中间，并非作为输出，为什么会把它当输出呢？玄机就在网络描述文件.prototxt里面，我们来看rpn_cls_score这一层，如下：

 1 layer {
 2   name: "rpn_cls_score"
 3   type: "Convolution"
 4   bottom: "rpn/output"
 5   top: "rpn_cls_score_report"
 6   convolution_param {
 7     num_output: 18   # 2(bg/fg) * 9(anchors)
 8     kernel_size: 1 pad: 0 stride: 1
 9     weight_filler { type: "gaussian" std: 0.01 }
10     bias_filler { type: "constant" value: 0 }
11   }
12 }