RPN在Faster-RCNN中是怎样运行的

【导读】Faster-RCNN是目标检测的一种算法，而RPN（Region Proposal Network）用于在特征图上产生候选预测区域。本文主要介绍RPN的运行机制。

第一步

输入图像通过卷积网络，在网络的最后一个卷积层上输出一组卷积特征图，如下图：

第二步

滑动窗口在这些特征图上滑动，滑动窗口的大小为NxN，这里是3×3。每个滑动窗口，都会生成一组9个锚框，它们都具有相同的中心

但有3种不同的ratio（长宽比）和3种不同的scale（比例），如下所示。注意，所有这些坐标都是相对于原始图像计算的。

此外，每个锚框都对应着一个p*，p*表示锚框（anchor box）与真实图片（baounding box）的重叠度。

其中，iou是交集占合集的比例，如下计算：

第三步

最后，从那些卷积特征图中提取的3×3空间特征（如上面红框中所示）被送到较小的网络，该网络具有两个任务：分类（cls）和回归（reg）。回归的输出确定预测的边界框（x，y，w，h），分类的输出是指示预测的框是否包含对象的概率p或者它来自背景（不包含对象）。

损失函数在两个子网的输出上定义，由两项相加，还有个平衡因子λ。

参考链接：

https://www.quora.com/How-does-the-region-proposal-network-RPN-in-Faster-R-CNN-work