单应性矩阵应用-基于特征的图像拼接
- 2020 年 2 月 21 日
- 筆記
前面写了一篇关于单应性矩阵的相关文章，结尾说到基于特征的图像拼接跟对象检测中单应性矩阵应用场景。得到很多人留言反馈，让我继续写，于是就有这篇文章。这里有两张照片(我手机拍的)，背景是我老家的平房，周围是一片开阔地带，都是麦子。有图为证：
图一：
图二：
思路
这里是两张图像的拼接，多张图像与此类似。主要是应用特征提取模块的AKAZE图像特征点与描述子提取，当然你也可以选择ORB、SIFT、SURF等特征提取方法。匹配方法主要是基于暴力匹配/FLANN+KNN完成，图像对齐与配准通过RANSAC跟透视变换实现，最后通过简单的权重图像叠加实现融合、得到拼接之后得全景图像。这个其中单应性矩阵发现是很重要的一步，如果不知道这个是什么请看这里：
基本流程
1.加载输入图像
2.创建AKAZE特征提取器
3.提取关键点跟描述子特征
4.描述子匹配并提取匹配较好的关键点
5.单应性矩阵图像对齐
6.创建融合遮罩层，准备开始融合
7.图像透视变换与融合操作
8.输出拼接之后的全景图
关键代码
在具体代码实现步骤之前，先说一下软件版本
-VS2015 -OpenCV4.2 -Windows 10 64位
代码实现：提取特征与描述子
// 提取特征点与描述子 vector<KeyPoint> keypoints_right, keypoints_left; Mat descriptors_right, descriptors_left; auto detector = AKAZE::create(); detector->detectAndCompute(left, Mat(), keypoints_left, descriptors_left); detector->detectAndCompute(right, Mat(), keypoints_right, descriptors_right);
提取好的匹配描述子
// 暴力匹配 vector<DMatch> matches; auto matcher = DescriptorMatcher::create(DescriptorMatcher::BRUTEFORCE); // 发现匹配 std::vector< std::vector<DMatch> > knn_matches; matcher->knnMatch(descriptors_left, descriptors_right, knn_matches, 2); const float ratio_thresh = 0.7f; std::vector<DMatch> good_matches; for (size_t i = 0; i < knn_matches.size(); i++) { if (knn_matches[i][0].distance < ratio_thresh * knn_matches[i][1].distance) { good_matches.push_back(knn_matches[i][0]); } } printf("total good match points : %dn", good_matches.size()); std::cout << std::endl; Mat dst; drawMatches(left, keypoints_left, right, keypoints_right, good_matches, dst);
创建mask对象
// create mask int win_size = 800; int h1 = left.rows; int w1 = left.cols; int h2 = right.rows; int w2 = right.cols; int h = max(h1, h2); int w = w1 + w2; Mat mask1 = Mat::ones(Size(w, h), CV_32FC1); Mat mask2 = Mat::ones(Size(w, h), CV_32FC1); Rect roi; roi.height = h; roi.width = win_size; roi.y = 0; roi.x = w1 - win_size; // left mask Mat temp = mask1(roi); linspace(temp, 1, 0, win_size); // right mask temp = mask2(roi); linspace(temp, 0, 1, win_size);
对齐生成全景图像
// generate panorama Mat panorama_01 = Mat::zeros(Size(w, h), CV_8UC3); roi.x = 0; roi.y = 0; roi.width = w1; roi.height = h1; left.copyTo(panorama_01(roi)); Mat m1; vector<Mat> mv; mv.push_back(mask1); mv.push_back(mask1); mv.push_back(mask1); merge(mv, m1); panorama_01.convertTo(panorama_01, CV_32F); multiply(panorama_01, m1, panorama_01); Mat panorama_02; warpPerspective(right, panorama_02, H, Size(w, h)); mv.clear(); mv.push_back(mask2); mv.push_back(mask2); mv.push_back(mask2); Mat m2; merge(mv, m2); panorama_02.convertTo(panorama_02, CV_32F); multiply(panorama_02, m2, panorama_02);
上述代码中panorama_01实现对第一张图像内容提取与mask权重生成混合，panorama_02完成对第二张图的内容透视变换与mask权重生成混合。特别注意的是顺序很重要。单应性矩阵发现代码可以看之前文章即可，这里不再赘述。
合并全景图像
// 合并全景图 Mat panorama; add(panorama_01, panorama_02, panorama); panorama.convertTo(panorama, CV_8U); imwrite("D:/panorama.png", panorama);
程序运行->特征点匹配如下：
最终拼接的全景图如下：
想知道如何改进这个输出结果，让输出结果融合的根据自然与真实，请听下回再说吧！过年了终于有点时间写点干货回报一下大家！请大家多多支持！多多反馈！
