RPN在Faster-RCNN中是怎样运行的
- 2019 年 10 月 7 日
- 筆記
【导读】Faster-RCNN是目标检测的一种算法,而RPN(Region Proposal Network)用于在特征图上产生候选预测区域。本文主要介绍RPN的运行机制。
第一步
输入图像通过卷积网络,在网络的最后一个卷积层上输出一组卷积特征图,如下图:

第二步
滑动窗口在这些特征图上滑动,滑动窗口的大小为NxN,这里是3×3。每个滑动窗口,都会生成一组9个锚框,它们都具有相同的中心

但有3种不同的ratio(长宽比)和3种不同的scale(比例),如下所示。注意,所有这些坐标都是相对于原始图像计算的。

此外,每个锚框都对应着一个p*,p*表示锚框(anchor box)与真实图片(baounding box)的重叠度。

其中,iou是交集占合集的比例,如下计算:

第三步
最后,从那些卷积特征图中提取的3×3空间特征(如上面红框中所示)被送到较小的网络,该网络具有两个任务:分类(cls)和回归(reg)。回归的输出确定预测的边界框(x,y,w,h),分类的输出是指示预测的框是否包含对象的概率p或者它来自背景(不包含对象)。

损失函数在两个子网的输出上定义,由两项相加,还有个平衡因子λ。
参考链接:
- https://www.quora.com/How-does-the-region-proposal-network-RPN-in-Faster-R-CNN-work